自分と違う言葉を使う人とも気軽にコミュニケーションをしたい。近年の技術の高度化により、その願いが徐々に実現し、例えば外国語の自動翻訳機により外国語の理解が容易になってきています。それと同じように、手話を第一言語とする人と、手話を使わない人がストレスなく意思疎通できないか… そんな思いから開発された手話と音声による双方向コミュニケーションシステム「SureTalk（シュアトーク）」について、2017年の企画当初から携わってきた担当者にサービスについて聞きました。
ソフトバンク株式会社 テクノロジーユニット サービス推進部 SureTalk課
田中 敬之(たなか・のりゆき）さん
ITインフラ事業会社で海底ケーブルの建設・保守に従事後、ソフトバンク（株）へ。
2017年からSureTalkのプロジェクトを立ち上げ、責任者として従事
画面上に手話や音声の内容をテキストで表示。場所も時間も制限なく利用可能なコミュニケーションツール
民間企業での障がい者雇用が進み、皆さんの職場でも何らかの障害を持つ仲間と一緒に働く機会があると思います。ソフトバンクでもさまざまな社員が活躍しており、中には聴覚障がいを持ち、手話を使う社員もいます。実際に働く現場では、手話の分からない社員が同席する会議で意思疎通がスムーズにできずにお互いがストレスを感じてしまったり、緊急時などに必要な情報を瞬時に受け取れず不便を感じたりと、コミュニケーション上の課題がありました。そこで、手話で表現するだけで、相手がその内容を理解できるようにと開発されたのがSureTalkです。
SureTalkは、手話と音声を使い、聴覚障がい者と健聴者がリアルタイムにコミュニケーションできるサービスです。パソコンやタブレットを介して利用するため、相手が遠方でも同じ場所にいても、意思疎通することができます。また、手話認識の精度を高めるために、ユーザーの手話を学習させる機能も備わっています。手話や音声からのテキスト変換や手話学習の機能には最先端のAI技術が使われており、手話認識や言語処理の課題に対応しています。
手話を認識してテキスト変換する機能に加え、音声をテキスト化する機能があるのがSureTalkの特長です。聴覚障がい者も健聴者も同じサービスの中でコミュニケーションを完結できます。
手話で話した内容がどんどん認識され、テキスト表示
実際のデモの様子
実際にSureTalk利用の様子を見せてもらいました。手話で話しかける際は、ゆっくり・はっきりが基本とのことで、1つ1つの動作がはっきり見て取れました。最近よく会見のテレビ中継で目にする、同時通訳のような速さではなく、イメージは初心者向けの手話学習番組のスピードです。
話しかけた後のテキスト化までの時間はとても短く、数秒で正しい文章が表示されます。離れた場所にいる話者とのやりとりは違和感なく、パソコンやスマホのテキストチャットツールを使用しているときのようにスムーズな印象でした。
身体動作追跡の様子
また、デモ動画の裏側で行われている処理を見てみると、骨格で人の動きを追跡しているのが分かります。
手話認識や言語化は簡単なようで難しい。解決のために最先端のAI技術を導入
メイン機能となる会話は、手話をする人と話せる人がそれぞれSureTalkが使えるパソコンやタブレットを使います。端末のカメラに向かって手話で話しかけると、その動作から骨格や関節の特徴を抽出し、データベースと照合して何という単語か特定。特定された単語を自然言語処理によって①助詞を追加し、②語尾の活用変換をして自然な日本語にします。こうして処理された内容が、双方の端末上にテキスト表示されます。
テキストを見た相手は端末のマイクに向かってしゃべりかけると、話した順に音声を認識し、端末上にテキスト表示します。雑音や反響のある環境でも音声を認識することができ、将来的には話者を識別する機能も追加する予定です。
テキスト化された内容が意図しないものであった場合には、該当箇所を引用し、修正内容を新規投稿することで修正が可能です。
田中「SureTalkの手話認識は、単語ベースに分解して分析し、言語処理を行う点がユニークです。例えば、『窓口はどこにありますか』という文章を単語ベースに分解して登録しておきます。あとは、『トイレ』という単語が登録されていれば、『窓口』の部分を入れ替えるだけで『トイレはどこにありますか』と認識できるのです。1つ1つの場面に合わせた大量のフレーズを登録する必要がなくなりました」
登録機能は、人によって異なる手話動作でも認識できるよう、精度を高めるためのものです。手話の文章や単語のサンプル動画があるので、動きを確認し、カメラに向かってサンプルと同じ手話動作をして登録します。
田中「登録は、手話を学んだことがない方でも可能です。サンプル動画を見て動作をまねるので、登録作業をすることが学習につながる効果もありますので、興味のある方はぜひ試してみてください」
役所の窓口やその他一般的なやり取りを行うシーンに必要な単語はおよそ2,000語を想定しているとのこと。現在SureTalkで対応できる単語、文章はまだ少ないため今後増やしていく必要があり、最終的に1万語の単語登録を目指していくそうです。
SureTalkサービスが使用可能な端末とアプリケーション（2021/7/28現在）
| ①会話機能（手話・音声のテキスト変換） ※現在は一部の自治体での利用のみ |
・パソコン Webブラウザー用アプリ |
|---|---|
| ・iPad Webブラウザー用アプリ | |
| ②登録機能（手話動作の学習） | ・パソコン Webブラウザー用アプリ |
| ・iPhone 専用アプリ |
一緒に働く仲間との会話を途切れさせたくない、という思いから発足した社会貢献プロジェクト
SureTalkを開発した経緯を教えてください。
田中 2017年の秋に開催された新規事業アイデアコンテストで、一緒に働く手話利用者とのコミュニケーションに課題を感じていた2つのチームがサービスを提案し、優勝したことから企画・開発を始めました。10月から電気通信大学と基礎研究を開始し、エンジニアの確保やシステム構築の体制整備、サービス化の調整を行いました。
SureTalkは無償提供を前提にしており、経営会議で社会貢献事業としてサービス化を認めてもらえた際は本当にうれしかったですね。思い返せばさまざまなことがありましたが、私は諦めが悪いので（笑）ここまで続けてこられたのかなと思います。
電気通信大学の3つの研究室と共同研究していますね。
田中 われわれが実現したかったのは、スマホやタブレットのカメラで使える汎用性のあるサービスで、それを可能にする手話認識技術が必要でした。特殊な装備がなくても奥行きのある動きを捉えられるシンプルな手話認識技術、また、コミュニケーションツールの条件となる自然言語処理と音声認識技術のそれぞれを専門とする先生方が電気通信大学で研究されており、一緒に開発を始めました。
研究開発で特に難しかったのはどの点でしたか？
田中 大きく2つあり、1つ目は「手話認識」です。順次変換といって、手話で話した順に単語に変換していき、最後まで変換したところでそれが正しい日本語順か判断して入れ替える必要があります。単語を順番に並べていくことは単純なようで難しく、現在も試行錯誤しながら研究を続けています。
2つ目はその次のステップの自然言語処理です。並べた単語の間に助詞を入れたり、「～する」と「～たい」という単語から「～したい」と訳す、という語尾活用処理を行ったりして自然な文章にしますが、この処理は前文から推測するなどの深層学習や、ルールを適用させることで実現すべく、研究を重ねています。多くのパターンを学習させ、最終的に深層学習だけで処理するのが理想です。また、1つの手話に複数の意味があり、どれを選択するかも深層学習がポイントになります。文脈に沿った単語の特定は永遠の課題ですね。
あらゆる場面で使ってもらうために、1単語100人分の手話データを集めたい
さまざまな場面で、多くの方に使っていただきたいサービスですね。
田中 そうですね。現在はいくつかの自治体で導入いただいており、来庁者の利便性を高められる画期的な取り組みとして好意的に受け入れられています。もちろん課題もあり、手話認識の精度向上や単語の拡充、機能の充実化などの要望をいただいていますので、それぞれ対応していきたいと思います。
その他にはどんなサービスアップデートを計画していますか？
田中 まず音声を手話に変換する機能です。日常的に手話を使う方は、テキストを読むより手話を読み取る方が自然なため、必要な機能と考えています。また、手話コミュニケーションでは口の動きも重要なため、将来的には口話認識機能も実装したいです。
そして継続して、手話認識と、正しい日本語を作る自然言語処理の精度を上げていくことが重要です。1つの単語につき約100人分のデータを必要としています。そのためには、多くの方にSureTalkの登録機能で手話動画を登録していただきたいと思います。ぜひご協力いただけるとうれしいです。
「SureTalk」に自分の手話動画を登録してデータ収集に協力しよう
「SureTalk」でスムーズなコミュニケーションを実現するには、多くの人の手話のサンプルが必要です。手話動画の登録機能がiOS向けアプリとしてリリースされましたので、手話に少しでも興味のある人は試してみてくださいね。
カンタン手話フレーズ集はこちらからご覧ください
（掲載日：2021年7月28日）
文：ソフトバンクニュース編集部
SDGsの達成に向けた、マテリアリティ「人・情報をつなぎ新しい感動を創出」
ソフトバンクは「すべてのモノ、情報、心がつながる世の中を」をコンセプトに、SDGsの達成に向けて6つのマテリアリティ（重要課題）を設定。そのうち、SDGsの目標4「質の高い教育をみんなに」を踏まえた「人・情報をつなぎ新しい感動を創出」では、ICTを活用した教育分野への貢献を通じ、新たなライフスタイルと生活基盤を充実させることを目指しています。
