実際の風景に人物やキャラクターを合成することができるAR（Augmented Reality、拡張現実）。
ソフトバンクが提供する5G時代のエンタメ配信サービス「5G LAB」の「AR SQUARE」では、どのような仕組みで、そこには存在しないものを目の前にいるかのように出現させることができるのか。映像撮影や映像生成の仕組みについて、AR SQUAREの開発担当者にインタビューしました。
話を聞いたソフトバンクの担当者
コンシューマ事業統括 プロダクト＆マーケティング統括 サービス企画本部
下村 元気（しもむら・げんき）
AR SQUAREの開発担当。また、新しい技術研究開発や企画内容の実行にあたり、技術的に実現可能かなどの確認も行う。
コンシューマ事業統括 プロダクト＆マーケティング統括 サービス企画本部
公文 悠貴（くもん・ゆうき）
AR SQUAREの企画担当。戦略を練り、コンテンツの調達や撮影企画、プロモーション企画を行う。
AR SQUAREってどんなことができるの？
実際の景色に人物やキャラクターを重ね合わせることができるAR。「AR SQUARE」では好きなタレントやキャラクターなどを目の前にいるかのように登場させ、360度回転や拡大、縮小など、自由自在に動かして写真や動画を撮って楽しむことができます。
AR SQUAREのさまざまな機能
|
|
自由自在に鑑賞 目の前にアイドルやキャラクターが登場。拡大、縮小、360度回転などで自由自在に鑑賞。 |
|
|
映像撮影 お気に入りのアイドルと一緒に踊る映像を撮影、録画。 |
|
|
SNS投稿機能 撮影した映像や写真をInstgramなどの人気のSNSに投稿して友達とシェア。 |
|
|
繰り返し鑑賞 ダンスの振り付けやヨガなど、フォーム確認も360度自由自在、繰り返し鑑賞が可能。 |
|
|
ARフィギュア 専用のQRコードなどを読み込むと、限定ARフィギュアが起動。 |
自宅や外出先どこでもスマホをかざすだけでキャラクターや有名人が現れる仕組み
今までタレントや、スポーツ選手などを見に行きたいと思った場合、TVなどの2D（2次元）上で見る、あるいは劇場などに行くという選択肢が主流で、物理的な距離という壁が常に存在しました。
「現実を拡張する」というARの本質でそのような壁を壊せると考えました。自分の目の前に好きなタレントやキャラクターをARで呼び出すことができれば、今まで物理的な距離が原因で会いにいけなかった方、時間がなくなかなか機会に恵まれなかった方なども、「スマホさえあれば自分の好きな時間、場所で会える」という新しい体験ができると考えAR SQUAREを提供しています。
今までタレントや、スポーツ選手などを見に行きたいと思った場合、TVなどの2D（2次元）上で見る、あるいは劇場などに行くという選択肢が主流で、物理的な距離という壁が常に存在しました。
「現実を拡張する」というARの本質でそのような壁を壊せると考えました。自分の目の前に好きなタレントやキャラクターをARで呼び出すことができれば、今まで物理的な距離が原因で会いにいけなかった方、時間がなくなかなか機会に恵まれなかった方なども、「スマホさえあれば自分の好きな時間、場所で会える」という新しい体験ができると考えAR SQUAREを提供しています。
その場にいない人物やキャラクターが実際の背景に現れるのは、どのような仕組みになっているのでしょうか？
コンテンツの制作は、高品位な3Dホログラムデータを即日生成できる3D撮影スタジオ「xRスタジオ」で行っています。ホログラム技術の世界的リーダーである8i社の国内総代理店であり、xR※技術の専門知識を有するリアライズ・モバイル・コミュニケーションズ（以下リアライズ・モバイル）とソフトバンクが、商用利用可能な3Dホログラムスタジオを開発する8i社と協力することで実現したものです。
- ※
xR：「VR」「AR」「MR」などの仮想空間技術の総称。
xRスタジオ
アプリは、リアライズ・モバイルと連携して、8i社のホログラムを再生できるものを開発しています。
実際、ARコンテンツを出すためにはまずiOSまたはAndroidの基幹の空間認識の技術を利用して、カメラが撮影している空間がどのような空間なのか認識をした上で、3Dのキャラクターなどを指定した場所に出現させるといった技術同士の組み合わせによってできています。
アプリは、リアライズ・モバイルと連携して、8i社のホログラムを再生できるものを開発しています。
実際、ARコンテンツを出すためにはまずiOSまたはAndroidの基幹の空間認識の技術を利用して、カメラが撮影している空間がどのような空間なのか認識をした上で、3Dのキャラクターなどを指定した場所に出現させるといった技術同士の組み合わせによってできています。
8i社の3Dホログラムにはどのような特長がありますか？
立体的な映像を映し出す3Dホログラムは、複数カメラと複数アングルで同時に撮影した映像を自動合成します。ホログラムの作成は通常1カ月などの期間を要しますが、8iの技術は数時間程度で生成できるため、スピード感を持ったコンテンツの提供が可能です。
時間短縮の方法は、フレームごとに形状とモーションをキャプチャしてホログラムデータを生成するというものです。大規模なレンダリングファームをスタジオ内に構築し、撮影データをレンダリングファームで高速処理します。かつ、映像は1フレームずつキャプチャしてホログラムデータを生成するので、クオリティも担保されています。
ARのコンテンツを作成する過程で大変だった点はありますか？
ARのコンテンツの生成のために、まず撮影を行いますが、髪型や衣装、また動き一つでもARには得意、不得意があるので、企画の内容と照らし合わせて、そのような動きやポーズが最適なのか試行錯誤しました。何度も撮影を重ねていくうちにどんどん良いものが撮影できるようなったと思います。
ARと現実の世界が一体化？ SF映画のような世界がすぐそこに
今後5Gがさらに普及してくるとARの楽しみ方も変わってくるのでしょうか？
ARは家で楽しむという考え方もありますが、自分の好きな場所で、自分の好きなキャラクターと写真や動画を撮るということが楽しめるポイントだと思います。綺麗な画質のホログラムを提供する場合は、どうしてもデータが大きくなってきてしまいますが、5Gの高速大容量という特長を活かすことで、より高画質なARコンテンツでも、外出先などで撮影したいと思った時にすぐにその場でダウンロードして楽しむことができると思います。
今後、ARサービスをどのように進化させていきたいですか？
将来的には、ストリーミングやライブ配信にもトライしていきたいです。ライブでの演奏やARドラマにもチャレンジできれば、さらにコンテンツの幅が広がります。例えば自宅の中で、好きなアーティストのライブやドラマシーンをリアルに見ることができる、まさに家のリビングがステージになり、アーティストやタレントがそこにいるかのようなイメージです。ARはそこにエフェクトといった音響効果を付けることもできるので、新しい体験、驚きを提供できるのではないでしょうか。
それから、少し先の将来かもしれませんが、ARオブジェクトを使ったナビや広告なども長期的には検討したいですね。ARグラス、スマートグラスなどを着用して街を歩くと、レストランのおすすめメニューが目の前に現れるとか、道案内をしてくれるとかは、生活を便利に楽しくするんじゃないかと。ARの世界と現実の世界の一体化、そういう世界になるとARの活用がさらに広がると思うので可能性は無限だと思っています。
将来的には、ストリーミングやライブ配信にもトライしていきたいです。ライブでの演奏やARドラマにもチャレンジできれば、さらにコンテンツの幅が広がります。例えば自宅の中で、好きなアーティストのライブやドラマシーンをリアルに見ることができる、まさに家のリビングがステージになり、アーティストやタレントがそこにいるかのようなイメージです。ARはそこにエフェクトといった音響効果を付けることもできるので、新しい体験、驚きを提供できるのではないでしょうか。
それから、少し先の将来かもしれませんが、ARオブジェクトを使ったナビや広告なども長期的には検討したいですね。ARグラス、スマートグラスなどを着用して街を歩くと、レストランのおすすめメニューが目の前に現れるとか、道案内をしてくれるとかは、生活を便利に楽しくするんじゃないかと。ARの世界と現実の世界の一体化、そういう世界になるとARの活用がさらに広がると思うので可能性は無限だと思っています。
（掲載日：2020年9月2日）
文：ソフトバンクニュース編集部
「AR SQUARE」を楽しもう！
アイドルやキャラクターなどを、拡大・縮小・回転して自由に鑑賞したり、スマホのカメラを通して、好きなアイドルやキャラクターを出現させ、現実の背景や人物と一緒に写真や動画を撮影したりすることができます。撮影した写真や動画をSNSに投稿することも！
