車と交通インフラの情報連携による安全安心な交通の実現
～デジタルツイン技術による異種センサーの統合～

1．コネクテッド・非コネクテッドカー混在時の安全に向けた課題

ソフトバンクは、すべての車両がネットワークに接続されるコネクテッド社会を見据えています。しかしながら、そのような社会が到来するまでの過渡期においては、ネットワークに接続されていない車両（非コネクテッドカー）の存在も考慮しなければならず、路側センサーとの連携が必要になると考えています。

路側センサーは非コネクテッド車両を検知することができるため、車両がコネクテッドであるか非コネクテッドであるかに関わらず、対象エリア内の車両を検知することが可能です。とはいえ、車両のコネクテッド化が不要というわけではありません。車両の検知結果を活用し車両にフィードバックするには、車両がコネクテッドであることが必要となります。

2. コネクテッドと非コネクテッドの行動予測ユースケース

今回は、路側センサーを活用して、コネクテッドカーと非コネクテッドカーが混在する状況下で詳細かつ多様な車両の挙動を予測し、適切なタイミングで情報通知を行うことで、事故を未然に回避できることを検証しました。

具体的なユースケースとしては、高速道路を二輪車が走行している環境で、運転手の不注意などにより急な車線変更を行ってしまい、周囲の車両にリスクが及ぶシーンを想定しています。実験のイメージを下図に示します。

実験車両は、コネクテッドカーである二輪車と、その後方の第2走行車線を走行するコネクテッドカー、二輪車前方を走行する非コネクテッドカーを想定しました。コネクテッドカーの情報はモバイルネットワークを通じて情報連携プラットフォームにアップロードされます。同時に、路側センサーの検知区間に車両が存在している間、路側センサーから各車両の情報が情報連携プラットフォームへと送信されます。

ソフトバンクの先端技術研究所は本実験において、コネクテッドカーの自己位置推定結果と路側センサーによる車両検知結果とを統合し、重複が排除されたデジタルツイン※を構築しました。デジタルツインの特長であるリアルタイム性と未来予測を活かし、リスクの予兆を適切なタイミングで運転手に通知することを可能としました。

※デジタルツイン: 現実空間で収集したデータを基に、現実空間の物体・状況を仮想空間に再現したもの

3. 異なるデータソースを統合するデジタルツイン技術

続いて、今回のユースケース検証におけるデジタルツインについて技術的観点から解説します。検証では、コネクテッドカーおよび路側センサーという2つのデータソースに基づき、リアルタイムに車両の状態をデジタルツインに反映しました。しかし、データソースによって更新周期や分解能・形式が異なるため、デジタルツインへの反映においてはそれらの差異を吸収する必要があります。

また、本実験におけるリスクの検知を行うにあたって必要な情報の一部がセンサーから直接得られない場合はそれを他の測定値を元に推定する必要があります。今回のケースにおいては路側センサーから車両の加速度を測定することができず、加速度情報を推定しなければなりません。加速度は速度を時刻で微分したものですが、単純に数値差分を取るだけではノイズが増幅されてしまい十分な精度を得られません。

そこで、本実験では状態推定法に基づくセンサーフュージョンを応用した複数物体追跡の手法を用いました。状態推定法には以下のメリットがあります。

1. センサー間で観測項目が異なる場合でも統合可能
2. センサー間で観測タイミングが異なる場合でも統合可能
3. センサーでは観測できない項目を状態として推定可能

メリット1,2がセンサーフュージョンとして状態推定法が用いられる理由です。今回の検証で課題であったデータソース間の差異を、センサーフュージョンのアプローチによって吸収することができます。

次に、複数物体追跡によるデジタルツイン化の概略を下図に示します。

上図に示す4つの処理のサイクルを回すことで状態推定と車両追跡を行い、リアルタイムにデジタルツインを更新していきます。これからそれぞれの処理について説明します。

◾️ 対応付け

測定データと追跡中の車両との同一性を判定します。

まず、車両IDを基に判定します。つまり、コネクテッド車両のデータであればそれらに割り当てられた端末ID、路側センサーのデータであれば路側センサーが検知した車両に割り当てる車両番号を参照し、追跡中の車両と同一であるかを判定します。

次に、車両IDで同一性を確認できなかったデータに対しては距離を基に最近傍のペアを探索します。具体的なデータとしては、追跡中のコネクテッド車両を路側センサーで初めて検出した場合が該当します。ただし、最近傍という条件のみでは距離が大きなペアが含まれる可能性があるため、閾値を設けてゲーティング（抽出）します。

◾️ 状態更新

カルマンフィルタ― (Kalman Filter、KF) により、測定データを用いて追跡対象の状態を更新・補正します。カルマンフィルターでは測定データにおける観測値のみならず、その信頼度を取り入れることで更新量の大きさを調整します。今回の検証では各データソースのセンサー特性に基づき一定の信頼度を設定しました。

また、カルマンフィルターでは、更新前の状態として測定データの時刻における状態を予測したものが用いられます。予測は任意の時刻に対して可能であるため、データソース間で更新周期が異なっていたり測定タイミングが同期されていなかったりしても状態を更新することが可能です。

◾️ ライフサイクル管理

対象の追跡の開始および終了を判断します。誤検知かどうかを判定するため複数回の検知後に追跡を開始したり、一定期間 (Time To Live、TTL) 以上検知されていない対象の追跡を終了したりすることにより、実際には存在しない対象（ゴースト）がデジタルツインに反映されるのを防ぎます。

今回の検証では、追跡終了に関してはTTLとして1秒を設定しています。

◾️ 状態予測

拡張カルマンフィルタ― (Extended Kalman Filter、EKF) により、測定データの時刻またはデジタルツインの時刻における追跡対象の状態を予測します。拡張カルマンフィルターは非線形系を線形近似することにより、線形系が前提条件となっているカルマンフィルタ―を非線形系に適用できるようにしたものです。

このように予測技術は、デジタルツインに基づいたリスク通知のみならず、デジタルツインの更新過程そのものにおいても重要な技術です。予測の結果は100%正確というわけではありません。かといって全く信用できないものでもありません。その程度は不確かさとして定量的に表現されます。不確かさを考慮して状態の更新量を調整することで、正確な状態推定が可能となります。不確かさは予測期間に応じて変化し、状態の項目によっても異なります。例えば、車両の状態は運転手の運転操作など、モデル化されていない要因によって変化するため、0.1秒後の状態に比べて1秒後の状態の不確かさは大きくなります。また、一般的な自動車は次の瞬間に真横に移動していることはありません。つまり、横方向への不確かさは進行方向に比べて低いと言えます。ソフトバンクの先端技術研究所では、このような現象を説明できる精緻な数理モデルを独自に構築しました（特許出願準備中）。

4. 高速道路上での実験風景の紹介

2024年5月から7月にかけて、建設中の高速道路上で実験を行いました。現場での状況確認と車両配置後、各実験システム担当者が問題がないことを確認し、実験走行を開始します。ソフトバンクでは、この実験で車両情報と路側センサー情報を結びつけるプラットフォームを通じて、プラットフォーム上のログを利用し、適切な接続とデータ統合が行われ、デジタルツインに再現できているかをリアルタイムで確認しました。待機しているメンバーも含め、各ポジションの担当者が実験状況をリアルタイムで確認し、全員が問題ないと判断できると、実験走行は成功となります。この流れを何度も繰り返し、通信遅延や処理遅延など実験時の情報を取得しました。

以上が今回の実験の様子でした。走行中の映像は前出の動画に掲載していますので、そちらをご覧ください。本実験では、実際のトラブルシューティングや実験手順の最適化などにより、複雑な局面もありましたが、チームメンバーの協力と過去の実験で得た経験を活かし、順調に実験を進めることができました。

5. 実証実験による評価

実験の結果、リアルタイムにデジタルツインに反映された車両の位置とそれらに対応付けられた測定データの位置を以下のGIF画像に示します。画像上部の日時はデジタルツイン上の日時を表しています。また、測定時刻との時間差を車両横に示しています。この時間差が示す通り、コネクテッド車両のデータと路側センサーのデータは異なるタイミングで更新されています。なお、路側センサーのデータには車幅の情報は含まれていないため、デジタルツインの情報を用いて描画しています。このように更新周期が異なるデータを我々のアプローチで一意に統合できるということが確認できました。

加えて、デジタルツインを用いて再現した各車両の速度と加速度の変化を以下のグラフで示します。元となるデータの測定値は、各時点のデジタルツインで利用されたデータをプロットしています。これにより、データソースによって測定分解能が違うことが理解いただけるかと思います。さらに、赤いラインはリスク通知が作動した時刻を示しており、リスク通知が作動したタイミングで二輪車が減速したことが確認できます。このように、オンライン処理において異なる形式のデータから加速度を十分な精度で推定できました。

以上のデジタルツイン技術により、コネクテッドカーへ周辺リスク情報を通知することに成功しました。

6. コネクテッド社会に向けた今後の展望

今回の取り組みはデジタルツイン技術の発展に寄与し、車両のコネクテッド化が進んだ未来社会に向けて重要なステップとなります。そして、デジタルツインは単にデータをひもづけ、管理するだけではなく、それらを活用し実世界にフィードバックすることで、交通事故のリスクを低減するなど具体的な社会貢献を目指しています。

ソフトバンクの先端技術研究所は、より安全・安心な交通社会の実現、および高度なデジタルツインの実現に向けて、センサーデータの高精度化やリアルタイム処理の高速化などの課題に取り組むとともに、最新のAI（人工知能）技術や先端計算機科学、通信技術を駆使したソリューションの開発を進めていきます。さらに、デジタルツイン技術を活用した新たなビジネスモデルの創出や産業界への貢献も視野に入れ、頭脳の拡張や知覚の共有というデジタルツインの可能性を最大限に引き出すべく、研究開発を続けてまいります。

執筆者：藤本八雲、後藤広樹