Large Telecom Model（LTM）の開発における、オープンモデルの重要性

1. 通信特化モデルにオープンな基盤が必要とされる理由

生成AIモデルの性能は、汎用的な基盤モデルの発展とともに、急速に向上しています。通信分野に特化したLTMのようなモデルを構築する場合も、内製モデルであるSarashinaだけではなく、その他のオープンモデルも活用することで、世界中で進む基盤モデルへの膨大な投資を自社で繰り返すことなく、その最新の進化や成果をLTMに直接取り込むことができます。

オープンモデルを業界特化モデルのベースモデルとして活用し、より高性能な基盤モデルに通信分野の追加学習を重ねることで、ネットワークの設計・計画、設定、最適化といった通信特化タスクにおける精度を向上させられることは、特化型モデルの強みです。基盤モデル自体が賢くなるほど、ベースモデルを一から再構築することなく、新たな通信ユースケースを柔軟に実現できるようになり、開発期間とコストの双方を削減できます。

また、オープンモデルの役割は、ベースモデルとしての利用だけに留まりません。通信事業者が蓄積してきたネットワークデータ、標準化文書、運用ノウハウなどから、プライバシーを保護しつつ実環境を再現した学習データを生成する合成データ生成（Synthetic Data Generation）などのデータ前処理にもLarge Language Model（LLM）は広く使われます。
これらの一連のパイプラインにオープンモデルを採用することで、通信事業者は自社環境内で完全に通信特化の学習データを生成・管理することが可能となり、プライバシーの保護、コンプライアンスの遵守、そしてコスト効率の向上を同時に実現できます。

一方で、今日「オープンソースモデル」と呼ばれているモデルの多くは、学習データや学習レシピなどの素性も含め完全公開されているわけではなく、学習済みのウエイトのみが公開された「オープンウエイトモデル」と言えます。オンプレミス環境へのデプロイや追加学習は可能ですが、学習に用いられたデータやその処理などを含むレシピが公開されていなければ、モデルがどのような過程を経て作られたのかを十分に検証することは困難です。このようなオープンウエイトモデルでは、学習データに含まれる偏りやリスクを開発工程まで遡って検証し、モデルの挙動を管理することには限界があります。

ソフトバンクでは、前回の記事※でも紹介した通り、計算インフラからデータ、モデル、エージェント、実際の自律ネットワークまでを一貫して管理および統治する、フルスタックのソブリンAIアプローチを進めています。そのため、モデルレイヤーにおいても、モデルの推論環境に留まらず、学習データや開発工程までを管理・統治できることが必要です。学習データや開発工程まで透明性の高いオープンモデルの存在は、ソフトバンクだけでなく、日本が自らソブリンAI基盤を構築・運用する上でも重要です。

※ ソフトバンクのフルスタックソブリンAIアプローチについては、こちらの記事をご参照ください。

2. NVIDIA Nemotronを活用した継続的なモデル開発

このような考えに基づき、ソフトバンクではLTMの開発にNVIDIA Nemotronモデルを大いに活用しています。Nemotronモデルファミリーは、欧米で開発されたオープンモデルの中で現時点で最高水準の性能を持つとともに、事前学習・事後学習などの各学習段階におけるモデルウエイト、学習データ、学習レシピを幅広く公開している数少ないモデルの一つです。利用者は、他のオープンウエイトモデルのように学習済みのモデルウエイトを利用するだけではなく、モデルが作られた工程を理解し、公開された資産を起点として独自の学習を継続できます。このような高性能で透明性の高いオープンモデルが広く公開されることは、AIの進歩をより多くの人々が活用し、さらに発展させる機会を広げるものであり、社会全体にとっても大きな価値があります。

LTMでは、通信分野の知識を加える継続事前学習（CPT）、個々のユースケースへの対応能力を鍛える教師ありファインチューニング（SFT）、推論能力を高めたりシミュレーション環境からより適切な行動を学習したりできる強化学習（RL）の全ての段階に手を加えています。Nemotronでは各段階のデータやレシピが公開されているため、その開発工程にLTM独自の学習データやレシピをシームレスに統合し、ソフトバンク自身が後続の特化型モデル開発を継続できます。

また、NemotronはUltra・Super・Nanoという異なる規模のモデルが提供されていることも重要です。これにより、LTMの開発では、最新かつ高性能な大規模モデルに通信分野の追加学習を行い、そこから実現したい各ユースケースに適した規模のモデルへ派生させていくというアプローチを取ることができます。具体的には、高い推論能力が求められるタスクにはUltraクラスの大規模なモデルを利用し、よりタスクが明確で低遅延での応答が重視されるユースケースにはNanoクラスの小規模なモデルを利用するなど、求められる能力に応じてモデルの規模を使い分けることができます。このようなモデルの展開は、中央データセンターとネットワークのエッジに階層的に計算資源を配置するAI-RANの構想、特にAI Gridとも高い親和性があります。

さらに、LTMをAIエージェントとして活用する際には、利用可能なツールやアクセス権限、承認条件を制御するエージェントハーネスも欠かせません。ソフトバンクとNVIDIAは、AIインフラやモデルの開発に加え、エージェントハーネスやデジタルツインによる事前検証など、将来的な自律ネットワークを構成する各レイヤーについても連携しており、安全かつ検証可能なエージェント実行基盤の構築を進めています。

ソフトバンクは今後も、Nemotronのように性能と透明性を兼ね備え、フルスタックのソブリンAIと親和性の高いオープンモデルを活用していきます。内製技術とオープンモデルの双方を活かしながら、LTMを核とした通信業界向けのフルスタックソブリンAIを継続的に発展させ、その成果を通信事業者が自ら管理できる形で展開することで、通信業界全体におけるレベル4以上の自律ネットワークの実現を目指していきます。