5G時代のエンタメ配信サービス「5G LAB」では、あらゆる角度をカメラで捉え、視点を自由に切り替えて映像コンテンツを楽しむことができる「FR SQUARE」が提供されています。
このFRの映像はどのように撮影・配信されているのか、開発担当者にインタビューしました。
話を聞いたソフトバンクの担当者
コンシューマ事業統括 プロダクト＆マーケティング統括 サービス企画本部
田口 英一
FR SQUAREの配信映像を生成するプラットフォームのシステム開発のほか、撮影設備構築を担当。
さまざまな視点で映像を楽しむことができる FR SQUARE
FRとは、「Free view point Reality（多視点）」というコンセプトに基づいた造語。FR SQUAREでは、コンサートやスポーツ観戦など、視聴するコンテンツに応じて自由な視点で楽しむことができるよう、さまざまな機能が提供されています。
|
|
推しカメラ アイドルグループなどのコンサートで、一人一人に専用カメラを設置し、ユーザーはメンバーから最大4人まで選択して、お気に入りの演者の映像を追いかけることができます。 |
|
|
マルチカメラ 正面や側面に設置したカメラの映像から、好みのアングルを自由に選択して視聴することができます。 |
|
|
ぐるっとカメラ 福岡PaPayドーム内に設置した60台のカメラから作られた映像をライブで配信。試合中の打席を自由に回転して視聴することができます。 |
プロ野球の開幕戦や2020年甲子園高校野球交流試合では、ピッチャーやバッター、球場全体を自由に選択して視聴するマルチカメラでライブ中継が行われました。
どのようなきっかけで多視点での映像配信サービスを開始したのでしょうか。
これまでテレビや映像配信サービスで見ていた映像は、複数のカメラで撮影され、配信者側がカメラ映像の切り替えを行い、ユーザーはそれをただ見るだけでした。もっと自由な視点でユーザーに映像コンテンツを楽しんでもらいたいという思いから、「Free view point Reality（多視点）」という新しいコンセプトに基づいてサービス提供を開始しました。
さまざまパートナーの協力のもと、2019年の年末ごろからバスケットボール日本代表や高校生バスケ大会の試合などでテスト配信実験検証を行いノウハウを集結させ、2020年3月にサービスを開始しました。
これまでテレビや映像配信サービスで見ていた映像は、複数のカメラで撮影され、配信者側がカメラ映像の切り替えを行い、ユーザーはそれをただ見るだけでした。もっと自由な視点でユーザーに映像コンテンツを楽しんでもらいたいという思いから、「Free view point Reality（多視点）」という新しいコンセプトに基づいてサービス提供を開始しました。
さまざまパートナーの協力のもと、2019年の年末ごろからバスケットボール日本代表や高校生バスケ大会の試合などでテスト配信実験検証を行いノウハウを集結させ、2020年3月にサービスを開始しました。
映像をスムーズに切り替えできるのはなぜ？ 「マルチカメラ」「推しカメラ」
マルチカメラのイメージ
複数のカメラ映像をスムーズに切り替えることができますが、どのような工夫をしているんですか？
マルチカメラ、推しカメラの一番のポイントは、全てのカメラ映像と音声の同期をとり、どのカメラを選択しても映像と音声がずれることなく視聴できることです。これは開発にあたってかなり苦慮した点でもあります。
また、映像を1つずつ受信していると、映像を切り替えた時に読み込みが発生してしまいます。そこでユーザーがストレスを感じることなくサクサク映像を切り替えられるように映像を同時に受信するようにしました。例えばマルチカメラでアイドルグループのコンテンツを視聴する場合、4視点の映像を同時に受信し映像の読み込み時間を無くすことで、スムーズに切り替えることができるようになっています。
マルチカメラ、推しカメラの一番のポイントは、全てのカメラ映像と音声映像の同期をとり、どのカメラを選択しても映像と音声がずれることなく視聴できることです。これは開発にあたってかなり苦慮した点でもあります。
また、映像を1つずつ受信していると、映像を切り替えた時に読み込みが発生してしまいます。そこでユーザーがストレスを感じることなくサクサク映像を切り替えられるように映像を同時に受信するようにしました。例えばマルチカメラでアイドルグループのコンテンツを視聴する場合、4視点の映像を同時に受信し映像の読み込み時間を無くすことで、スムーズに切り替えることができるようになっています。
複数の映像を同時に受信すると大容量な通信になりそうですが、その点も工夫されているのでしょうか。
そうですね。現在のところは4Gの回線で快適に視聴できるよう、画質を調整しています。今後さらに5Gが普及してくると、5Gの「大容量」という特長を生かして、4Kや8Kでより高画質な配信が可能になってくると思います。
球場を囲む60台のカメラで撮影！ 「ぐるっとカメラ」
福岡PayPayドーム（以下、PayPayドーム）で開催される野球の試合は、ライブ配信されている映像をぐるっと回転させて視聴することができます。
ぐるっとカメラの映像は、どのように撮影・配信しているのでしょうか。
カメラの設備としては、PayPayドームのグラウンドをほぼ全周するように60台のカメラを設置して、全てのカメラの映像を合わせて映像を作っています。常設設備としてFRの映像をライブで常時配信することができるようにしたのは日本で唯一のこととなります。
PayPayドームのグラウンドを囲むカメラ
また、配信の仕組みには2つの大きな工夫があります。1つは60台分のカメラ映像の同期をとることです。撮影した各カメラの映像をPayPayドーム内に設置したサーバーでエンコードしていて、その際に全カメラ映像の同期を1台のカメラも遅延することなく実施しています。
ぐるっとカメラ映像配信の概要
もう1つはユーザーがスワイプした時の負荷分散です。ぐるっとカメラで一番負荷がかかる処理が画面を回転している時です。今回はクラウドのサーバー上に配信プラットフォームを構築し、ユーザーからのリクエストの負荷分散を行うことで、ユーザー体験を損なわないよう瞬時に映像処理がされるように設定・調整を行っています。
負荷分散というのは具体的にはどのような処理を指しているのでしょうか。
サーバー側で画像の圧縮方式を配信に適したものに変更したり、ぐるっと回している間、見ていない方向の映像は不要なので、その分は配信せず必要な映像だけをダウンロードできるようにしています。負荷分散に関しては開発の過程でさまざまなシミュレーションを行って調整してきました。
映像解析や無人カメラも投入！？ FR SQUAREの今後の取り組み
1球投球解析のイメージ
マルチカメラ、推しカメラ、ぐるっとカメラ以外にも、今後新しいアングルは追加されるのでしょうか。
そうですね。マルチカメラでは、今後独自カメラを増やして行きたいと考えています。7月末に「1球投球解析」を1アングルとして追加しました。ピッチャーの投げた急速やボールが通過した経路を1球ごとに即時に映像解析して、CGとして配信しています。
また、「ぐるっとカメラ」は現在、球場のホームベースの地点からユーザーがぐるっと回転させながら見ることができますが、今後はホームベースだけではなく、球場内で自由な場所を指定して、その地点からぐるっと回転させることができるよう検討しています。
そうですね。マルチカメラでは、今後独自カメラを増やして行きたいと考えています。7月末に「1球投球解析」を1アングルとして追加しました。ピッチャーの投げた急速やボールが通過した経路を1球ごとに即時に映像解析して、CGとして配信しています。
また、「ぐるっとカメラ」は現在、球場のホームベースの地点からユーザーがぐるっと回転させながら見ることができますが、今後はホームベースだけではなく、球場内で自由な場所を指定して、その地点からぐるっと回転させることができるよう検討しています。
撮影方法もさらに進化していくのでしょうか。
推しカメラでは、各カメラが自動でそれぞれの演者を追いかけることができる、全自動追尾カメラを導入する予定です。天井にセンサーを置いて、演者の衣装などに埋め込まれたタグの位置情報をもとに、カメラが自動で追いかけて撮影しています。自動追尾することで、人数の多いアイドルグループなどのコンサートでは、演者が激しく踊ったり移動しても見失うことなく撮影することができユーザー体験もさらに向上すると考えています。
ユーザーが見たいと思うコンテンツを増やしたい
今後は、アングルを切り替えてもスムーズに映像が流れてくるユーザー体感を保持したまま、4Kや8Kといった高画質化を行い、さらに現在1秒間に30フレームで配信しているところを60～120といった高フレームレート化をしたいと考えています。これは5Gの高速大容量という特長を活かしてこそ実現できる仕組みなので、今後5Gの普及が進む中で、さらに高画質でより夢中になれる映像を提供して行きたいです。
これからも、ユーザーが見たいと思うアングルやコンテンツをどんどん増やしていきたいと思います。
今後は、アングルを切り替えてもスムーズに映像が流れてくるユーザー体感を保持したまま、4Kや8Kといった高画質化を行い、さらに現在1秒間に30フレームで配信しているところを60～120といった高フレームレート化をしたいと考えています。これは5Gの高速大容量という特長を活かしてこそ実現できる仕組みなので、今後5Gの普及が進む中で、さらに高画質でより夢中になれる映像を提供して行きたいです。
これからも、ユーザーが見たいと思うアングルやコンテンツをどんどん増やしていきたいと思います。
（掲載日：2020年8月27日）
文：ソフトバンクニュース編集部
FR SQUAREを楽しもう
今までにない音楽LIVE、スポーツなどの映像視聴体験！舞台正面・側面などさまざまな角度から視聴できる「マルチカメラ」、お気に入りのメンバーだけを選んで視聴できる「推しカメラ」、映像を自由に回転できる「ぐるっとカメラ」など、自分の好きなアングルでコンテンツを楽しもう！
