インフラ業務でAI活用！ 新たな内製ツール「AutoInfra」を開発してみた

2. AutoInfraとは？

AutoInfraの概要

AutoInfraとはAutonomous Infrastructureの略で、SSHクライアント、LLMチャットおよびAI Agentを統合した新たなインターフェースを持ったインフラ管理ツールです。現時点ではソフトバンク社内向けのツールとなっています。

AutoInfraでは同一インターフェースでSSHクライアントおよびLLMチャットを活用できるため、エンジニアは異なるツール・ウィンドウを切り替える必要はなく、SSHクライアントで操作した内容はLLMと自動的に連携されるので、LLMチャットはインフラ機器の実データを元に回答してくれるのが大きな特徴です。

さらに、マルチAI AgentもAutoInfraから操作できることによって、より柔軟な自動化が可能になります。AI Agent連携については今後詳しく紹介していきます。ここではそんな機能もあるんだと認識していただくだけでOKです。

まとめると、AutoInfraはあらゆるインフラ業務をAIを用いて効率化および自動化を実現可能とするツールを目指して開発をしています。

インフラエンジニアが抱える多くの課題をAutoInfraで解決できるように開発していきます。

3. 背景

プロジェクト着手の動機

インフラ機器に対してSSH経由でコマンド操作をしている中、不慣れなコマンドのオプションをWebで調べたり、知らないエラーメッセージに出会うとどういう意味なのかWebやChatGPTに調べてもらったりしますよね。

そうすると、SSHクライアント、Webブラウザで調査、ChatGPTとのチャットと複数のウィンドウを立ち上げる必要があり、ウィンドウを行き来する手間がありました。複数のターミナルを開いていたりすると、ターミナルの取り違えリスクも増加します。

また、インターネットやAIの情報は基本的に一般情報のため、調べた結果のコマンドや操作手順は、そのままでは操作機器に対しては実行することは出来なく、自身の環境に合わせて修正しないといけない手間もありました。

また、各顧客ごとにカスタマイズ設定が入ったインフラ機器に対して、不具合対応やメンテナンス対応をする際に、膨大な工数を取られるという状態がありました。

インフラ業務の課題

その他にも、インフラ業務には以下のような課題があります。

• 作業中に調査のために複数のウインドウを開いて操作するのは手間・間違いのリスク増加
• Webや一般の生成AIが生成する情報は一般情報のためそのままでは使えない
• 手作業での業務が多いため、人的ミスによる障害発生のリスクや担当者の負担が多い
• 設計漏れ、細かい設定ミス等による不具合の発生を防止する有効な策がない
• 不具合の原因特定に時間を要する
• 夜間作業などによる担当者の負担が大きい

こういった課題を、「AIを用いてどうにかできないか？」と考えた結果、ターミナルに表示される情報をAIが参照しながら回答できるようにすることで、操作対象機器に対して適切なアドバイスをしてくるのではないかと考え付き、AutoInfraというツールを開発することにしました。

AutoInfraは、このようなインフラエンジニアが抱える課題を解決可能だと考えています。

どのように解決していくかは、後続の連載記事を通して解説していければと考えていますが、本記事ではシステム構成や実行検証の結果を紹介します。

4. 全体構成

システムアーキテクチャ

現在開発中のAutoInfraのシステムアーキテクチャを紹介します。

Webサーバーコンテナ (NGINX)

ユーザーからのリクエストを受け付け、静的コンテンツ (HTML, CSS, JavaScript) を提供します。
動的な処理が必要な場合は、WSGIサーバーコンテナにリクエストを転送します。

WSGIサーバーコンテナ (Flask, Gunicorn)

Flaskフレームワークで構築されたWebアプリケーションが動作します。
Gunicornは、WSGIアプリケーションサーバーとして動作し、複数リクエストを並列処理します。
ユーザーとAIとのチャットなどのデータをデータベースとやり取りを行います。

データベースコンテナ (MongoDB)

チャット履歴などのアプリケーションで使用するデータを格納します。
MongoDBは、ドキュメント指向データベースであり、柔軟なデータ構造を扱うことができます。

GPU(LLM)サーバー（Ollama）

機械学習モデルの学習や推論処理を高速化するために、GPUを搭載したサーバーを利用します。
OllamaというOSSのローカル環境で実行できるLLMアプリケーションをインストールしました。様々なLLMをOllamaにインストール可能ですが、現状はLlama3.1:8Bモデルを利用しています。
WSGIサーバーコンテナから、GPUサーバーに処理を依頼します。

インフラ機器

ターゲットのインフラ機器（サーバーやネットワーク機器など）へFlaskアプリからSSHで接続できます。
これによりLLMとインフラ機器が連携可能となります。（詳細は次項参照）

5. LLMとインフラ機器との連携部分について

AutoInfraは、普通のSSHクライアントとして使えますので、LLMが不要な作業は普通にコマンドを打って作業をしていきます。

しかし、コマンドのオプションを忘れたり、パイプでつなぐコマンドをどう書くんだっけ？と分からなくなったりすることがありますよね。そういったときに活用できるのがLLMチャットです。

まずは、LLMでコマンドが生成・実行ができる仕組みについて紹介します。

LLMによるコマンド生成および実行の仕組み

AutoInfraのChatBoxからターゲット機器に対して、実行したいタスクを自然言語で入力すると、AIがコマンドを生成してくれます。そのコマンドを実行および実行後の出力を自然言語で解説する機能になります。

以下は、LLMに質問をして、コマンドを実行、実行結果の解説までのフローを示しています。

AutoInfraではLLMが生成したコマンドはコピーして右側に貼り付けると言った作業を必要としません。コピーして貼り付けると、コピーミスなども発生するリスクがあります。コマンドを実行するにはExecuteボタンを押すだけです。

インフラ機器とLLMとのデータ連携の仕組み

AutoInfraの右側のターミナルから、ターゲット機器にSSHしたうえでコマンド操作を実行すると、ターミナルの表示データがLLMに連携される仕組みになります。そのため、ユーザは左側のChatBoxでエラーログの内容を問い合わせると、ターゲット機器で出力されたログデータをもとに、AIが回答してくれます。

6. AutoInfraを実際に使ってみた検証結果

Case 1: ApacheのListenポートの変更

Apacheで起動しているターゲットサーバに対して、Listenポートを80から85に変更するシナリオ検証を実施してみました。

 画像8を見てわかるように、プロンプトの工夫は必要ですがsedコマンドでhttpd.confの内容を書き換え、その後、httpdサービスの再起動を実施するコマンドを生成してくれています。コマンド内容を確認後、Executeボタンを押下するとコマンドが実行されます。コマンド実行させると、正常にコマンドがターゲットサーバで実行されました。

※この例では、標準出力がないケースでしたので、コマンド実行後のAIのレスポンス内容は少し想定と違った内容でした。ここは今後改善する必要があります。

ついでに、正常にListenポートが変更されているかのテストも同じように実施してみました。

こちらも問題なく想定通りのコマンドが生成され、コマンド実行の結果も問題なさそうです。このケースは標準出力があるコマンドでしたので、コマンド実行後のAIのレスポンスではコマンド実行結果を自然言語で解説してくれています。

Case 2: エラーログの解析

このように、今までは読みづらいログを人がインターネットなどで調べながら解釈する必要があったと思うのですが、本機能を活用すればこの手間や工数が大幅に改善されると考えています！

残課題

AutoInfraはまだ開発途中であるため、今回の検証においても、まだ解決すべき課題が出てきました。

課題：コマンド生成機能において、単一のコマンドしか生成されないため、タスクを遂行するのに何度もコマンド生成をしないといけない

基本的にタスクを遂行するためには、複数コマンドが前提です。ただ、現状の仕様だと1つのコマンドしかAIは生成してくれないのが不便だと感じています。複数コマンドを生成できるように改善する予定です。

課題：AIのレスポンスの表示スタイルが見づらい

改行がされない・Markdownの生データで表示されるという状態が現状あります。これはChatGPTなどの王道なLLMチャットボットと合わせる形でより見やすいスタイルに今後は改善する予定です。

7. おわりに

本記事では内製かつアジャイルで開発したAutoInfraというツールについて、その背景や概要、そして主な機能について紹介しました。

ソフトバンク社内では、業務改善に向けて内製ツールも開発していることを知っていただけると嬉しいです。

今後も何回かに分けてAutoInfraの紹介をしていきます。次回はマルチAI Agentの機能や実装方法などについて紹介できればと考えています。

ぜひ、興味あれば次回の記事もご一読いただけたらと思います！

関連セミナー・イベント