2021年10月に開催された「2021世界体操・新体操選手権北九州大会」。選手たちの華麗な演技の裏側で、実はスポーツ中継の新しい形を届ける実験が行われていました。
実験の目的や、それぞれの技術のポイントについて担当者に話を聞きました。
Index
コンシューマ事業統括 サービス企画本部 コンテンツ推進統括部 プロダクト開発部
（左から）岡原正宗さん、細谷朋未さん、森香菜子さん
AIカメラで広がる映像コンテンツの可能性
無人のAIカメラで撮影された新体操の団体演技。映像を見ると、人物を認識しながら細かく向きやズームを調整しているのがわかります。
無人AIの自動追尾カメラを担当した森香菜子さん
森：無人AIによる自動追尾カメラを、会場内の3つのポイントに設置し、いろいろな角度から団体の演技を見ることができるようにしました。
選手たちのシンクロした動きや、美しいフォーメーションが見所の新体操の団体演技では、選手たちが同じ方向に動いたりバラバラに散ったりします。
この無人のAIカメラは、AIが人物を認識し、フォーメーションの左右の端の人物が収まるように瞬時に計算して動きに合わせて進行方向に追尾したり、ズームアウトして全体を写すようにAIが自動判断で動いています。
会場内には、観客や審判の方もいますので、選手以外の人間の動きに左右されず対象だけを追えるように、カメラの向きを緻密に計算し、判別すべき範囲を指定してAIが認識しやすいアルゴリズムを設計するのが大変でした。夏ぐらいから準備を始めたのですが、新体操の会場に何度も通い、競技エリアの配置や、審判の動きなどさまざまなケースを学習して、最適な設定値を導き出しました。
人間ではありえないカメラアングルも可能に
森：最近はVRやFRなど、マルチアングルの映像が徐々に増えてきていますが、多視点の映像コンテンツを作るには、カメラ等の機材はもちろん、その機材を操作するカメラマンなど人材もたくさん必要になります。そして、カメラマンが撮影する、ということは人がいるスペースが確保できる角度でしか撮影できない、という側面もあります。
そこを今回のように自動でAIカメラで追うことができれば、コストや人件費を抑えつつ、カメラだけなら置けるスペース、例えば天井の隙間のような人が入れない場所からなど新しい角度の撮影が可能になり、新たなマルチアングルのコンテンツが生まれてくると良いな、と思います。
タイムラグなしの感動を共有できる真のリアルタイム映像
森：これはライブ配信映像を、会場の座席で視聴している様子です。
従来のインターネットによるライブ中継は、一般的には、実際の会場で見るよりも、数十秒遅れて配信されていることをご存知ですか？
現地で撮影されたカメラの映像がそのままみなさんの端末まで届くのではなく、データを圧縮したり、変換したりとたくさんのプロセスを通って届けられています。
今回の配信では、タイムラグを最小限に抑える低遅延の配信システムを採用しました。データ変換の際発生する膨大なプロセスを効率化して時間を短縮するとともに、データの送信ゆらぎやパケットロスト処理を特別なプロトコルで行うことによりバッファリングが必要なく、ほぼリアルタイム（0.1～0.3秒の遅延）の映像でもスムーズに再生することに成功しました。
映像でも、実際の会場での選手たちの動きと、タブレットの映像がほぼ同じで、リアルタイムに配信されているのが分かると思います。
会場にいたお客さまに、この配信映像を見ていただいたのですが、ぱっと見タブレットでビデオを撮影しているように見えるぐらい「本当にリアルタイムだね」と驚かれていました。テレビだと自由に視点を変更できなかったりしますが、3つの視点をスムーズに、自分で操作して切り替えられるので、「自宅でも見てみたい」とおっしゃっていただけました。
今回のようにお客さまがいて携帯の電波が飛び交っている会場で配信実験を行うのは初めてだったのですが、さらに精度を上げていくための課題も見つけられましたしとても意味のある実験ができたと思います。
アスリートの並外れた身体能力が一目瞭然の自由視点映像
体操競技では、選手たちが繰り出す高難度の技が魅力の一つですが、中継などで一瞬の動きを捉えるのは至難の技。離れ技の瞬間を好きな角度から見て、アスリートのすごさを実感することができる自由視点映像。どのように作られているのでしょうか。
自由視点映像を担当した岡原正宗さん
岡原：鉄棒の周りに設置した20台のカメラで同時に撮影した映像を組み合わせることで、鉄棒の競技中の選手をぐるっと視点を動して見ることができる映像を生成しています。
鉄棒の周りに配置された20台のカメラ
テレビのスポーツ中継のゴールシーンの再現などでよく使われているのは、数台のカメラで撮影して、映っている視野角の範囲でそれっぽく回しているものが多いのですが、今回の自由視点映像は全方位実際に撮影したリアルな映像を使っていますのでどの角度からでも細かく観察することができます。しかも停止した状態だけでなく、再生しながら視点を移動することもできるので、より立体的に楽しめます。
これまでこういった自由視点映像を撮影するには、設営段階から何日もかけて準備を行うものが多かったのですが、この方法ではカメラとネットワークがあれば、2階席の手すりなどにも取り付けられるので、どこでもスピーディーに、安価に設置できます。また、アングルなども会場のレイアウトに合わせて自由に設計しやすい。
ただ複数のカメラ映像を集合させて作られる映像なので、非常に大容量のストリーミングとなります。
今回の実験では、5G回線を使った再生実験は実施できていないのですが、今後たくさんの方に映像を楽しんでいただくには、5Gのような大容量の高速ネットワークが必要となります。5Gが普及していくことで、この自由視点撮影・配信技術を使ってスポーツだけでなく、さまざまなシーンで360°の映像が作られるようになるのではないでしょうか。
スマホ一つで3Dアバターを生成。ぐっと近づくバーチャルの世界
今回の実験では、中継配信以外にもテレビ局向けにアバター生成システムを提供。まるで自分が体操選手になったようなこのアバター、実はスマホ１台で作られているそうです。
3Dアバター開発を担当した細谷朋未さん
細谷：スマホだけで3Dアバターを作成する技術を活用し、被写体のアバターがAR（Augmented Reality、拡張現実）で迫力ある体操演技をするコンテンツをテレビ局向けに提供しました。
通常このような全身の立体的なアバターを作成する場合、3D撮影ができる専用のスタジオなどで撮影してモデルを作成し合成するのが一般的なのですが、スマホアプリの指示に従って、顔や全身を撮影することで簡単にアバターが作れる仕組みを開発しました。
このアバターも、実は会社の会議室でスマホで作ったんです（笑）。
背景には机など写っていますが、AIが「ヒト」のフォルムを学習しているので、どんな背景や服装でも、人物だけを認識してアバターを生成できます。
こうして作ったアバターを使って、つり輪演技のモーションを組み合わせたコンテンツを開発し、番組内でアナウンサーの方などにアバターで体操選手体験をしていただいたりしました。当然ですが、人によって生成されたアバターの身長や手足の長さも変わってきます。つり輪の器具に収まるようにサイズ調整されるようにする処理の実装はとても苦労しましたね。
ゲームやオンラインのコミュニケーションなどで、動物やキャラクターを使ったアバターを作成する機会は増えてきましたが、リアルな見た目の自分自身をアバターにする、というのはまだこれからの分野。洋服や眼鏡の試着などが自分のアバターを使ってできるようになるなど、色々なシーンでの活用が期待できると思います。
いかがでしたか？
5Gが普及していくことで今回のような新しい映像配信が普通に体験できるようになると、スポーツやエンターテイメントなど今までに見たことのない視点からの映像で楽しみ方が変化したり、またアバター技術の進化で、買い物やイメージチェンジなど気軽に仮想空間でシミュレーションするスタイルが日常に根付いていくのかもしれませんね。
「2021世界体操・新体操選手権北九州大会」においてAI自動追尾カメラで撮影した映像の超低遅延配信などを実施
（掲載日：2021年12月15日）
文：ソフトバンクニュース編集部
