ライブやコンサートなどを臨場感あふれるVR映像を提供している「VR SQUARE」は、開発者のこだわりの技術がふんだんに使われています。どのような技術でVR映像を提供しているのか、開発担当者にインタビューしました。
コンテンツ推進統括部 コンテンツ企画部 コンテンツ推進課
藤田 誠司
VR SQUAREのアプリケーションの開発・技術を担当。
コンテンツ推進統括部 コンテンツ企画部 コンテンツ推進課
小山 瑛二
VR SQUAREのコンテンツ調達のほか、イベントの映像配信での撮影・設備構築などを担当。
ソフトバンクがNextVRに出資したことをきっかけに、VRの事業開発が始まり、2019年にLiVRという名称でVRサービス提供を開始。その後、2020年の5G商用サービスの開始に合わせ、「新たな体験チケット」というコンセプトで、遠隔地からもコンサートやスポーツ、演劇などを実写体験してもらいたいという考えのもと、「VR SQUARE」という名前でのサービス提供が開始されました。
無駄のない映像配信設計とこだわりのカメラアングル
VRサービスの開発にあたって、こだわったポイントはありますか？
2017年の開発当初は、世の中のVR動画配信サービスは、ただ360度動画を見ることができるだけというのがほとんどでした。そうすると、スマートフォンで360度動画を見ると画質が荒くがっかりしてしまうことがあり、私たちは映像画質にこだわることにしました。特に、NextVRが対応していた3D 180度というのが画質と臨場感を両立できる最適なフォーマットだと考え、その技術を享受する形で、私たちは3D 180度での配信を実現しました。
3D 180度動画を再生させるため、魚眼レンズの映像の歪みなどをきちんと計算し、正しく見えるようなオリジナルのプレイヤーをパートナーと組んで作りました。
見ない映像は流さない！ 3D 180度で配信する高画質なVR映像
3D 180度動画とは、具体的にどのような配信形式ですか？
360度の4K動画というのは、後ろまでぐるっと回って360度なんですよね。でも、実際にゴーグルをかけて見るところは前方の100度くらいなので、範囲が相当絞られています。前方を主に見ているというのは統計データでも出ていたため、あまり見られないところの映像はいっそのこと削ってしまって、その分よく視聴される前方の画質を上げるといったように、解像度を有効活用しようということで考えたのが3D 180度動画なんです。ライブコンサートの場合、オーディエンスの方が映り続けているとそれだけ画質が無駄になってしまうので、演者の方向だけが見えるようにすると、ユーザー体験も向上します。
3D 180度の形式を取り入れることで、解像度を有効活用できるため、画質は4K 60fpsで配信することができています。60fpsというのは、1秒間に60コマの映像が見られるもので、人が踊っているような映像の場合は、60fpsないとコマがブレて残像が残るように見えてしまうので、滑らかな映像を提供するためこのフレームレートに設定しています。このフレームレートの設定は、VRゴーグルで実際に見るとかなり顕著に違いが分かるため、ユーザー体験の質を担保するためにも、かなりこだわっているポイントです。
1秒あたりのフレーム数の違いによる見え方の違いの例
超神席、バックネット裏など、こだわりのカメラポジション
VR SQUAREの映像を見てみると、普通はみることができないようなアングルからの映像があります。実際、どのようなところにカメラを設置しているのでしょうか。
コンサートでは、なるべく中心で演者に近いところにカメラを設置しています。テレビ中継のカメラの場合は、カメラマンがズームしたり、アングルを変えたりすることができると思いますが、VRの場合は定点で置きっ放しになるため、置き場所も日々の収録業務で積み重ねた経験を活かしながら工夫しています。
例えば、PayPayドームでは、バックネット裏、バッターの真後ろのところに壁に穴を開けてカメラを常設させていただいていて、AKB48劇場では、センターの最前列よりさらに前、いわば「超神席」にカメラを置かせていただき、メンバーに手が届きそうなほどの臨場感を提供することができています。
AKB48劇場「超神席」からの視点
PayPayドーム「バックネット裏」に設置したカメラ
ソフトバンク独自の技術で実現した新しいVRライブ体験
VR映像のイメージ
VR SQUAREではオンデマンドでの配信に加え、VRライブ配信にも取り組んでおり、PayPayドーム（福岡県福岡市）、AKB48劇場（東京都千代田区）、SKE48劇場（名古屋市中区）、NGT48劇場（新潟市中央区）の4会場でVRライブ配信設備を常設しています。
配信設備の構築も担当されていたんでしょうか。
はい。3D 180度動画を撮影するためのカメラから実際にサーバーに映像をアップロードするところまでの配信設備を、自分たちで機材の構成を検討して、4会場に導入しました。最初は試行錯誤しながらでしたが、現場の負荷も考慮して安定的に配信できるという点で検討を重ねて、現在では、基本的に現地でスイッチを入れるだけで、半自動的にVRのライブ配信ができる仕組みを構築することができました。これだけの数の拠点でVRカメラを常設し、ほぼ毎日ライブ配信を行っているのは、世界を見ても他に例がないと思います。
ホークスの試合やAKB48グループのコンサートなどで使われている技術ですが、通常のVRライブ配信に加え、球場や会場のさまざまな場所から自由な視点で見ることができる、VRでのマルチアングルのライブ配信を実装しています。4視点の映像が同時にライブ配信されていますが、4ストリームを一度にすべてダウンロード視聴するというわけではなく、1映像ごとに20Mbpsで受信できるように工夫しているため、ユーザーの体感としてはストレスなくスムーズに映像を切り替えることができるようになっています。
VR配信の技術で特許を取得！
VR SQUAREのライブ配信では、3DのVR映像の中に2D映像でテレビ中継のような映像を合成し、テレビを見ながらVRをみることができます。この技術は特許を取得し、ソフトバンクならではの楽しみ方ができる仕組みが提供されています。
特許を取得した技術でVRライブ配信を行っています。動画のフォーマットは基本的に16:9の形式ですが、VR動画のフォーマットは基本的に2:1の形式になっています。この形式の違いにより、画素が余っていることに気づき、この領域をうまく活用する方法はないかなと仲間たちと一緒に検討しました。検討の末、この領域にVR映像のコンテンツ、例えば、ホークスの試合でテレビ中継のような得点の情報が表示される2Dの映像を表示できないかというアイデアにたどり着き、このような技術を開発し特許を取得しました。
この特許技術を使って、野球のVR中継ではVR映像と一緒に得点の情報を見ることができるようにして、まるでテレビを見ているような感覚でVRを見るという新しい体験を提供するということを実現できました。今後もさまざまなスポーツの配信で活用していきたいと考えています。
VRを通した近未来のコミュニケーション
VRを通じてコミュニケーションができるアバター機能もリリースされていましたね。
はい。アバター機能の開発当初から、技術面で協力いただける企業を海外含めて募集をしました。まずは、アバターコミュニケーションの技術を持っているパートナーと一緒にプロトタイプを作り、2020年の3月にPayPayドームでも5Gを利用した実証実験をするなど検討を重ね、商用サービス化に向けて取り組んできました。
その後、そこで得られた経験を生かして、複数のパートナーと、VR SQUAREのサービスの連携部分などの試行錯誤をしながら、CGや細かいところを開発し、今年の5月にはOculus Go向けのアバターコミュニケーションの提供を実現することができました。
現状はまだ肉声を聞いているというほどのリアルさには到達していませんが、今後は、遅延をより少なくし、立体音響の技術を使って、現実世界で会話をしているかのような聞こえ方を再現できればと思います。また、将来的には、視覚と聴覚と触覚を含め、多方面の技術に取り組んでさらなる臨場感を追求していきたいと考えています。
4G回線でもVRゴーグルを持っていなくても楽しめる
VRモードとスマホモードの画面イメージ
VRというと大容量コンテンツというイメージがありますが、4G回線でも楽しめる工夫はあるのでしょうか。
回線速度に応じて画質が変わる、アダプティブ・ビットレートという仕組みを実装しています。例えば、4Gや混雑場所からのアクセスではビットレートを低くし、低画質にはなりますが再生が止まらないような仕組みになっています。逆に、家庭のWi-Fiであったり、5Gであれば20Mbpsの高画質なものになります。また、回線だけではなく、ユーザーのデバイスのスペックによっても自動でビットレートが切り替わるようになっていて、そのデバイスが再生できる最大の解像度を自動的にプレイヤー側が選択するため、ユーザーのアクセスする環境やデバイスに応じて適切な画質の映像を配信する仕組みになっています。
あとは、VRゴーグルを持っていない方もいるため、スマートフォンでも楽しめる仕組みを取り入れています。指で画面を操作して180度を見回したり、ジャイロセンサー（角速度センサー）により、デバイスを傾けて好きな方向を見ることができる機能が入っているため、VRゴーグルを着用しなくても、好きなアイドルを追いかけながら見るといった楽しみ方ができるようになっています。
さらにリッチな体験をユーザーに届けたい
今後、VRはどのように発展していくと思いますか？
VRで本当の意味でのリッチな体験を届けるには、技術的な課題がたくさんあります。ネットワークについては、5Gによってコンテンツのダウンロード速度が大幅に向上されると思いますが、ネットワークが良ければ全部上手く行くというわけではありません。視聴するデバイスのスペックの向上や、VR ゴーグルの進化も必要だと思います。今、VRゴーグルは結構大きいので、サングラスやコンタクトレンズくらいのサイズになって、日常に溶け込むぐらいのデバイスが出てくると、さらにVRのユーザーも増えていくのではないかと思います。
また、収録現場で使う、映像データをアップロード用に変換するための機材（エンコーダー）ですが、今は4Kのものを使っています。これを8Kのものを使ってサーバーにアップロードして、それをリアルタイムで処理してユーザーに視聴させるには、まだまだサーバー側の処理速度や、上り回線の速度が不足しています。今後は5G、さらには6Gの高速な回線を使ってより高画質に、そしてどこでもライブ配信ができるようになるといいなと思います。
アーカイブ動画の視聴に関して、もっと大容量で映像をダウンロードすることができれば、もっと高画質高解像度な映像を楽しむことができると思うので、5Gで実現できそうな世界だと思います。世界ではITの大手がデバイスの特許を取得してて開発が進んでいるというニュースも耳にしますので、そういう話を踏まえてもVRの未来は展望が明るいと思っています。
（掲載日：2020年8月24日）
文：ソフトバンクニュース編集部
VR SQUAREを使ってみよう
臨場感あふれるライブやスポーツをはじめ、幅広いジャンルのコンテンが揃っています。今まで見たことがない動画を探してみましょう。
