さまざまなアングルから撮影された映像を自由に切り替えて映像コンテンツを楽しむことができる「FR SQUARE」では、映像解析システムの導入により、投手の球速や投球軌跡などがビジュアルで表示される「投球トラッキング映像」の視点を見ることができます。
投球トラッキング映像は、画像処理専門の研究開発を行う株式会社Qoncept(コンセプト)の協力のもとで実現。どのようにボールを追いかけて解析をしているのか、Qonceptの方に話を聞いてきました。
投球トラッキングってどんな映像が見られるの?
FR SQUAREでは、PayPayドームで開催される試合について、投球の軌跡、球速、また投球がピッチャーに届くまでの球の減衰率などが即時にビジュアル化されライブ配信映像や見逃し配信で見ることができます。
変化球もビジュアル化される!? 投球の軌跡
投手が投げたボールがバッターボックスに届くまでの軌跡が、ほぼリアルタイムでビジュアル化されます。変化球の軌跡がリアルタイムで見られるかも……!
どのように軌跡をビジュアル化しているんですか?
球場に設置した専用のカメラで撮影した映像から、緑のボックス(上記画像)内をスキャンすると白い球が見つかります。この球を見つけて「ボールっぽさ」をスコア化し、それがボールであると判断、かつ滑らかな軌道でボールが進んでいればそれを正しい軌道とみなして、それを3次元化しています。
バレーボールの球のようにデザインが入っているものや、選手など人物の場合は、機械学習をさせて映像から対象となるものを認識させるようにしています。野球の球の場合、白い丸なので比較的認識しやすく、それを高速に検出するような画像処理技術を使っています。
球場に設置した専用のカメラで撮影した映像から、緑のボックス(上記画像)内をスキャンすると白い球が見つかります。この球を見つけて「ボールっぽさ」をスコア化し、それがボールであると判断、かつ滑らかな軌道でボールが進んでいればそれを正しい軌道とみなして、それを3次元化しています。
バレーボールの球のようにデザインが入っているものや、選手など人物の場合は、機械学習をさせて映像から対象となるものを認識させるようにしています。野球の球の場合、白い丸なので比較的認識しやすく、それを高速に検出するような画像処理技術を使っています。
即時に計算される投球速度と減衰率
投球の速度だけでなく、どれだけ伸びのある送球になっているかが分かるような減衰率まで即時に表示されます。
速度や減衰率はどのように計算しているのでしょうか。
速さも同じような仕組みで、3次元の軌道がわかるとそこから簡単に速度を計算することができます。「何秒目にこの場所にいる」というように時間と場所を追いかけると速度というのは簡単に計算できます。3次元データが得られたあとに、速度などの情報を計算しています。
減衰率というのは、投げ始めの速度とホームベースの手前を通過した時の速度を比較して計算しています。
速さも同じような仕組みで、3次元の軌道がわかるとそこから簡単に速度を計算することができます。「何秒目にこの場所にいる」というように時間と場所を追いかけると速度というのは簡単に計算できます。3次元データが得られたあとに、速度などの情報を計算しています。
減衰率というのは、投げ始めの速度とホームベースの手前を通過した時の速度を比較して計算しています。
2台のカメラでデータを3次元化して、より正確に分析できる
PayPayドームには一塁側とバックネット裏に1台ずつ、合計2台の映像解析用のカメラが設置されています。
カメラが2台あれば、ボールを3次元の軌道に変換することができます。3次元にする必要がなく速度だけを近似的に解析する場合などは、カメラ1台の情報で足りますが、より厳密に正確にするためには3次元のデータが必要になるため2台のカメラが必要になります。
PayPayドームには2台のカメラがあるので、正確な3次元の軌道をビジュアル化することができています。
カメラが2台あれば、ボールを3次元の軌道に変換することができます。3次元にする必要がなく速度だけを近似的に解析する場合などは、カメラ1台の情報で足りますが、より厳密に正確にするためには3次元のデータが必要になるため2台のカメラが必要になります。
PayPayドームには2台のカメラがあるので、正確な3次元の軌道をビジュアル化することができています。
このような映像解析により、今までと違った視点で観戦を楽しむことができ、「実況もいいけど、即時にビジュアル化された映像が頼りになる!」「視聴者からすると楽しい!」「リアルタイムにいろんな情報が出ていて面白い」といった野球ファンの声も多数あるようです。
映像解析の技術の応用は野球以外にもさまざま
Qonceptは画像処理の技術をもとに、野球以外にも、ゴルフ、陸上競技、バレーボール、ボートレース、卓球などさまざまなスポーツにこの技術を応用してきました。
今後は体幹トレーニングの映像を撮影して、きちんとできているかを映像解析で評価するといったことをアプリで実現しようとしています。また、ゲーム感覚でボクシングのエクササイズを楽しむことができるアプリや、ゴルフのドライバーショット解析、バットのスイング解析など、ユーザーが自分で撮影した映像を解析できるアプリ開発にも現在取り組んでいます。
FR SQUAREに打者、走者の視点も追加予定!
投手の投球解析だけではなく、今後は打球の初速、打球の軌跡、打球がどこに落ちたのかといった着弾点、打球角度や飛距離、また打者・走者の一塁到達タイム、盗塁にかかる時間、走塁速度の情報も配信予定です。
ビジュアル化された打球の軌跡と合わせて、どのタイミングで野手が走り出しているのかまで分かるかも!?
PayPayドームで行われる福岡ソフトバンクホークス戦はすべて、「投球トラッキング映像」を見ることができるので、野球ファンの方もそうでない方も新しい楽しみ方を体験してみてくださいね。
(掲載日:2020年10月20日)
文:ソフトバンクニュース編集部
FR SQUAREで野球観戦しよう!
FR SQUAREでは、PayPayドームで行われる福岡ソフトバンクホークス戦を配信中。
打席の映像を自由に回転して見られる「ぐるっとカメラ」や、試合中継を好みのアングルに切り替えられる「マルチカメラ」、音楽ライブ映像など、さまざまな機能で次世代の映像体験を楽しむことができます。