EXPERIMENT 2：Teleffectence

作品の紹介動画

システム構成

本作では、超低遅延かつ大容量である光無線通信を用いて、光の美術館と長坂コミュニティ・ステーションの2拠点間を繋ぎ、双方向の8K高精細映像と音のリアルタイム伝送を実現しています。両会場の設備構成は以下になります。光の美術館に設置したカメラでモニターを撮影し、光無線通信で伝送、そして長坂コミュニティ・ステーションに設置したモニターに映します。同様に長坂コミュニティ・ステーションに設置したカメラでモニターを撮影し、光の美術館に設置したモニターに映します。これらを超低遅延に繰り返すことで、合わせ鏡のような状態を作りだします。音も同様に、光の美術館で発生させた音をマイクで収音し、長坂コミュニティ・ステーションのスピーカーで出力、その音を同会場のマイクで収音し、光の美術館のスピーカーから出力します。これらを超低遅延に繰り返すことで、音が2つの空間を伝って反響する状態を作りだします。これらは超低遅延な光無線通信だからこそ可能な、2つの空間をまるで一つの空間の如く創り上げた作品になります。

設備構成図

システム構成図

光無線通信

光無線通信とは、光を利用した無線通信技術です。電波よりも高い周波数帯を活用し、超低遅延かつ大容量通信の実現が可能です。屋外で光無線通信を用いて8Kリアルタイム映像伝送を行った事例は、世界初となります。

主なパラメーター
※レイテンシーはRTT(Round Trip Time)で測定

光は大気中の水分によって散乱・吸収されると、ビームが弱くなるため、雨天時などの高湿度な場合、通信が不安定になり運用面で大きな課題になります。そこで、ソフトバンクが独自開発したシミュレーターを用い、大気中の水分量により減衰する回線稼働率を予測し、まずは事前に回避策を講じました。会期前の1か月間で検証したところ、誤差0.3%で稼働率の予測を行うことに成功しました。

光無線通信のより詳細な技術説明や取り組みは、以下のページでご覧いただけます。
https://www.softbank.jp/corp/technology/research/story-event/012/

8K映像、音声伝送機材

今回は、アストロデザイン株式会社協力のもと、以下の機材を使用して8K映像と音のリアルタイム伝送システムを構築しました。

使用した主な機材

時刻同期対応

カメラ等で撮影した映像を送信しディスプレイ等で受信し、正しく表示するためには、送信側と受信側の機器で時刻（クロック）を同期させる必要があります。普段私たちが目にするディスプレイでは、上下に数百から数千並んだ横線（ライン）を上から順に書き換える（最下段まで書き換え終えたら再び最上段に戻る）ことで映像を表示しています。
映像伝送では、このライン単位またはフレーム単位（フレームは規定ライン数で一枚の画像を生成した時の単位）で映像データの送受信を行います。この時、送信は送信側のクロックの周期やビデオタイミングで映像を送信し、受信は受信側のクロックの周期・ビデオタイミングで映像を再生しますが、クロックの周期・ビデオタイミングが異なると、ライン単位での送受信の場合は以下の図のようにライン情報の受け渡しに漏れや重複が発生してしまいます（今回は低遅延のリアルタイム伝送を行うため、ライン単位での伝送を行っています）。このような映像の乱れを防ぐために、送信側と受信側での時刻同期対応が必要になります。
BNCケーブルやHDMIケーブルでは、送信側のクロック・ビデオタイミングの情報を同時に送信し、受信側でクロック・ビデオタイミングを再生していますが、インターネットプロトコルを使用した伝送ではクロックの情報を同時に伝送する事が出来ないため、別で時刻同期への対応が必要となります。

時刻同期対応が必要な理由

今回は、PTPプロトコルを用いてクロックを同期させました。PTPはIEEE 1588-2019で定義されたプロトコルであり、μsec（百万分の一秒）単位の高精度な時刻同期が可能です。送信側と受信側の両方の拠点にグランドマスターを設置し、それぞれのネットワーク内の機器のクロックを同期させます。グランドマスターはGPS（GNSS）を基準としているため、高精度かつ安定した時刻同期が可能です。

しかしながら、機器や設置にはいくつかの制約が存在します。PTPをネットワーク経由で伝送する場合、伝送経路にあるネットワークスイッチはPTPに対応している必要がありますが、非対応であることが多く、このPTP非対応のネットワークスイッチの介在が制約の一つです。また、先述の通り、拠点同士のグランドマスターの基準時刻を合わせるためには、一般的にGPS（GNSS）を使用しますが、GPSアンテナの設置には場所や作業工数などの制約があります。

そこで今回は、光無線を経由してPTPを伝送し時刻同期を実現しております。片方の拠点にグランドマスターを設置し、その内部クロックを光無線経由で、映像とは別のチャンネルを使用して対抗拠点に伝送し、双方の拠点で時刻を共有し、同期しております。光無線はμsecオーダーの遅延で通信が可能なため、この技術を活用することでGPSアンテナなどの付加設備を省略し、制約を大幅に軽減することが可能です。

光無線を用いた時刻同期の構成

End to End での遅延削減

低遅延な映像伝送の実現のためには、映像のエンコード/デコードからモニターの描画処理まで、全ての区間を通したEnd to Endで検討する必要があります。以下の図は、今回の作品における遅延の内訳を示しています。特に今回は光無線通信が超低遅延であり、その性能を最大限に活かすためには、普段は気にならないネットワーク区間以外の遅延削減が重要です。映像のエンコード/デコードにはJPEG-XS(※)を採用しており、圧縮率は高くはないものの、より低遅延な圧縮を実現し、合計で1msの遅延に抑えました。日常生活では全く気にならないモニターへの出力部分でも、実際には数十〜百msecの遅延が生じています。モニターの描画処理をシンプルにする設定を施し、30msec以下の遅延を実現しております。業務用の低遅延モニターなどを活用することでさらなる遅延削減も可能です。

作品における遅延の内訳

※JPEG XSは、JPEG規格の研究グループによって開発され、2019年に規格化された画像圧縮規格です。その特徴は、圧縮率よりも品質を重視していることです。ビジュアリーロスレスな画像圧縮が可能であり、圧縮率は約1/6程度（1/2〜1/15）です。また、圧縮アルゴリズムが軽量であるため、低遅延であることも特徴です。JPEG XSでは、フレーム間処理（連続する数フレームの情報を使った圧縮/伸長処理）を行わないため、1フレーム分のデータがたまるのを待つ必要がありません。数ライン単位で圧縮/伸長処理が完結し、後続のラインを待つ必要がないため、低遅延での処理が可能です。このような特徴から、ストリーミング映像伝送などの用途で活用されています。

JPEG XSの処理概要

モニター出力部分のさらなる遅延削減のため、低遅延モニターを用いた簡易的な検証を実施しました。以下は、一つのカメラで撮影した映像を、一般的なモニターと低遅延モニターに同時に出力したときの動画です。カメラは作品と同じ機種で、一般的なモニターへは、作品と同様に、SDIケーブル、SDI-HDMI変換器、HDMIケーブルを介して接続しています。低遅延モニターはSDI規格に対応しているため、カメラとモニターをSDIケーブルで直接接続しています。動画から明らかなように、後者の方が前者に比べて低遅延で映像を表示できていることが確認できます。これは、低遅延モニターの方が描画処理性能が高く、構成にもSDI-HDMIの変換処理が介在しないためです。

一般的なモニターと低遅延モニターの遅延比較

真鍋大度個展「EXPERIMENT」特設サイト

今回展示した作品の概要や、制作の舞台裏を紹介する「Behind the Scenes」の動画を、特設サイトで公開中です。以下のサイトより、ぜひご覧ください。

真鍋大度個展「EXPERIMENT」特設サイト