「AITRAS」のエッジAIサーバー上で動作する
「遠隔自動運転サポートシステム」を開発

「遠隔自動運転サポートシステム」の概要

ソフトバンクが開発した「遠隔自動運転サポートシステム」は、自動運転車に搭載した前方カメラの映像を、5G（第5世代移動通信システム）ネットワークを通してリアルタイムで「AITRAS」のエッジAIサーバーへ送信します。エッジAIサーバー内にある、GPU（Graphics Processing Unit）を搭載したNVIDIA アクセラレーテッドコンピューティングプラットフォームで動作する認知AIが、送信された映像を基に前方の障害物や路面の形状などを即座に認知し、その結果を自動運転車へ伝送することで、自動走行のサポートを実現します。この一連のAI処理には、NVIDIA DeepStream SDKを使用しており、ニューラルネットワークなどの複雑な処理タスクを組み込むことで、リアルタイムでの映像分析およびトラッキングを実現しています。計算コストがかかるAI処理をエッジAIサーバー上で行い、走行に必要な情報のみを自動運転車へ伝送することで、自動運転車側は大きな計算リソースを搭載することなく自動走行を実現できます。現在は特定のシーンでのサポートに対応していますが、将来的にはあらゆるシーンで自動走行をサポートすることを目指しています。

実証実験の一例

SFCで実施している実証実験のユースケースの一つとして、自動運転車がカーブを走行中、自動運転システムに不具合が生じ、安全に走行を継続できない場合に、エッジAIサーバー上の「遠隔自動運転サポートシステム」によって、通常の自動運転システムと同等の走行ができるかどうかの検証を行いました。このシナリオでは、カーブを走行中に自動運転システムの機能の一部を意図的に失陥させ、代わりに「遠隔自動運転サポートシステム」によるサポートを行いました。自動運転車のカメラの映像を基に認知AIが周囲の認知を行い、自動運転車にその情報を伝送することで、リスク最小化制御モードで動作する自動運転システムが認知結果を基に経路計画を行います。カーブで前方が見渡せない状況や、障害物を検知している際には停車動作を行わず、安全なスペースを見つけて停車できるかどうかを検証しました。

このケースでは、車線や障害物の認知が適切に行えないと、車線から逸脱したり障害物に衝突したりするリスクがあります。そのため、走行可能なエリアと障害物の位置をリアルタイムに認知し、その認知結果に応じて適切な経路設定および制御指示を行う必要があります。今回の実証実験では、「AITRAS」のエッジAIサーバー上で動作する「遠隔自動運転サポートシステム」を用いて、カーブ走行中に障害物がある状況でも自動走行ができることを確認しました。

「交通理解マルチモーダルAI」との連携

「AITRAS」のエッジAIサーバー上で動作する「遠隔自動運転サポートシステム」と「交通理解マルチモーダルAI」を連携させることで、自動運転車の自動運転システムや認知AIでは対応できない複雑で予測が困難な事態に直面した場合でも、スムーズに走行を続けることが可能になります。「交通理解マルチモーダルAI」は、汎用的なAI基盤モデルに、交通教本や交通法規などの日本の交通知識に加え、一般的な走行シーンや予測が困難な走行状況におけるリスクと対処方法を学習させたものです。「交通理解マルチモーダルAI」は、自動運転車から送信された走行映像などを基に交通状況を判断し、そのリスクと対処法をリアルタイムで言語化することが可能です。これにより自動運転車が誤った判断をした場合や、おかしな挙動をしている場合など、走行を継続すると危険な状況においても、遠隔でのサポートによる安全な走行を実現することができます。

SFCで実施している実証実験では、「横断歩道に障害物がある状況での走行」というシナリオで検証を行いました。「交通理解マルチモーダルAI」が交通状況のリスクを分析して停車指示を生成し、「遠隔自動運転サポートシステム」がその結果を自動運転車へ伝送することで、安全に停車できるかの検証を行いました。検証の結果、「AITRAS」のエッジAIサーバー上で動作させることで、低遅延で自動運転車へ停車指示を伝送することができ、「AITRAS」のエッジAIサーバーを使用しなかった場合と比べて、障害物の手前で安全に停車できることを確認しました。