SNSボタン
記事分割(js記載用)

人の動きとアバターを連動させたデジタルアート。インタラクティブな動作の実現に5Gを活用

5Gで人の動きにあわせたリアルタイムのインタラクション体験ができる没入型アート

ソフトバンク株式会社と株式会社乃村工藝社は、5Gを活用してインタラクティブに動作するデジタルアート「Immersive Motion」を共同制作しました。ソフトバンク株式会社が大阪市などと協力して運営する施設「5G X LAB OSAKA(ファイブジー・クロス・ラボ・オオサカ)」で展示中です。

鏡に映るアバターと体験者が重なる。デジタルとリアルが融合した神秘的な空間

モニターと鏡が対面に配置された「Immersive Motion」の体験コーナーに入り込んだ人が感知されると、パーソナライズされたアバターが生成され、体験者の骨格、服の色、手を左右に伸ばすなどの動作によって配色などの表現が変化します。

鏡に映るアバターと体験者が重なる。データとリアルが融合した神秘的な空間

鏡に映し出されたアバターと自分自身が重なり、デジタルとリアルが融合した視覚効果とともに、5Gとクラウドレンダリングによる高速処理を実感できる仕組みです。

鏡に映るアバターと体験者が重なる。データとリアルが融合した神秘的な空間
鏡に映るアバターと体験者が重なる。データとリアルが融合した神秘的な空間

インタラクティブ性、リアルタイム性の実現に、ソフトバンクの5G・MECの技術を活用

人の動きにあわせたインタラクティブな空間演出のためには、コンテンツの描画処理や演算処理を遅延なく実行できることが重要です。イベント会場などの現地に、こうした描画や演算ができるサーバーを多数設置する必要があることなどが課題となります。

今回の展示では、場所を選ばずにより複雑なアートの表現やインタラクティブ性を実現するため、高負荷な描画処理や演算処理などをソフトバンクの通信ネットワーク内で実行しています。

デジタルアートの仕組み

デジタルアートの仕組み

MEC(Multi-access Edge Computing)とは?

サーバーを端末の近くに分散配置して、今までクラウドで行っていた処理を超低遅延で行う技法のことです。
端末に近いエッジ(携帯電話の基地局など)で実行することで、負荷の分散や処理速度の向上につながると言われています。

ソフトバンクで「Immersive Motion」の展示企画、環境構築を担当したお二人のコメントを紹介します。

平林さん

ソフトバンク株式会社 テクノロジーユニット 技術戦略統括
BaaS事業部 技術開発課

平林 一輝(ひらばやし・いっき)

展示の企画を担当

「今回の企画を考える上で、インタラクティブ性を実現するために、現地で取得したセンシングデータをデータセンター内にあるエッジコンピュータ上でレンダリングしているコンテンツに反映させる仕組みを検討する必要がありました。

そこで、クリエイターが投影ツールとして選んでもらいやすくするために、クリエイター視点での扱いやすさ、ローカル制作時と変わらない表現自由度、安定稼働のためのセキュリティ、という大きく3つの視点で考えました。

ほとんどのクリエイターソフトウェアに対応していて、デジタルコンテンツ制作で使用されることが多い連携プロトコルであるOSC(Open Sound Control)※1を使い、OSCだけでは実現できない認証と暗号化を可能にする仕組みを考案し、インタラクティブ性を実現しました。

この仕組みにより、クリエイターにとって馴染みのある制作手法のまま、制作したコンテンツをシステムにアップロードして5GやMECと組み合わせることで、どこでも簡単に低遅延で高品質なデジタルアートを設置することができます。さらに、対応可能なクリエイターソフトウェアに自由度を持たせたことで、デジタルアートだけでなくXR系のライブエンターテインメントや、体験型eスポーツ、インタラクティブなデジタルサイネージなどでも応用可能で、あらゆるデジタルコンテンツを通信機器と投影用機材だけで設置可能になり、サーバールーム、サーバーの構築、サーバーに関わる配線工事も不要です。

また、インタラクティブ性を生かすことで、将来的には取得したデータを商業施設などの来場者へのマーケティングなどで活用することも技術的には可能になると考えています」

  • ※1
    ネットワーク経由でシンセサイザーなどの電子楽器に演奏データをリアルタイムに共有するための通信プロトコル

マイティさん

ソフトバンク株式会社 テクノロジーユニット 技術戦略統括
BaaS事業部 システム構築課

マイティ ソウラブ

展示の環境構築を担当

「今回の企画では、コンテンツがレンダリングされているサーバーから数百キロ離れた展示会場にいるユーザーのアクションを、コンテンツにリアルタイムで反映させて配信する必要がありました。

ユーザーに違和感を与えないよう、ユーザーのアクションと投影されるまでの全体遅延を意識したシステム設計を行いました。一般的な高性能ハードウェアエンコーダを使うと、さまざまな配信プロトコルを用いて低遅延配信の要件はクリアできますが、今回は仮想間環境でコンテンツのレンダリングを行っていたためソフトウェアエンコーダーを使う前提で配信プロトコルの選定が必要でした。

いくつかの配信プロトコルを検証した中でエンコード処理遅延が一番小さいNDI(Network Device Interface)※2を選定しました。NDIは低遅延を担保する一方、映像を高品質で配信をするためには100Mbps以上の帯域幅を必要とします。

4Gなど従来の無線技術では、この帯域幅を常時提供することが難しかったのですが、5Gを利用することでこの制約を簡単にクリアできました。NDIと5Gを組み合わせた結果、全体遅延を1秒未満に抑えつつ、高品質な映像配信を実現しています」

  • ※2
    LANを介してビデオを共有可能にする規格
5G X LAB OSAKAで展示中

5G X LAB OSAKA

ご紹介した「Immersive Motion」は、ソフトバンクが大阪市などと共同で運営している5Gの技術検証や体験ができる施設「5G X LAB OSAKA」で展示中です。

5G X LAB OSAKAについて詳しくみる

関連情報

「Immersive Motion」の制作にあたっては、乃村工藝社が空間演出を企画・提案、コンテンツ制作を担当。また、乃村工藝社グループのオープンイノベーションラボラトリー「NOMLAB(ノムラボ)」がデジタルプロデュースを担当しました。

(掲載日:2021年5月28日)
文、撮影:ソフトバンクニュース編集部