日本語完全パングラムの探索と評価：数理最適化とLLMを用いた新たなアプローチ

2. 日本で有名な完全パングラム

日本で最も有名な完全パングラムは「いろは歌」です。10世紀末から11世紀半ばにかけて成立し、文法的に正しい上に、無常観を詠んだ和歌としても知られています（旧仮名遣いであるため現代仮名遣いにすると完全パングラムにはなりまん）。

いろは歌全文

いろは歌の意味

• 色は匂へど散りぬるを: 香りよく色美しく咲き誇っている花も、やがては散ってしまう

• 我が世誰ぞ常ならむ: この世に生きる私たちとて、いつまでも生き続けられるものではない

• 有為の奥山 今日越えて: 苦しみ悩みの人生を今日乗り越えて

• 浅き夢見じ 酔ひもせず: 悟りの世界に至れば、もはや儚い夢を見ることなく、現象の仮相の世界に酔いしれることもない安らかな心境である

他の完全パングラムへの挑戦

実は「いろは歌」以外にも日本語完全パングラムは存在します。

明治時代には朝日新聞社が懸賞募集を行い、それ以降も何人かの人が挑戦して、「いろは歌」を越える完全パングラムを作り出そうとしています。しかし、知られている数は少なく、いまだ「いろは歌」を超えるものは見つかっていないのが実態です。おそらく、46文字という世界的に見ても多くの文字を有する日本語では難しいのだと思います。

• 見つかっていないものを含めて、日本語完全パングラムはどれ程度あるのか
• そのなかに「いろは歌」より美しいものは存在するのか
• あるとしたらそれはどのようなものなのか
  

というのは、日本語を母語とし、日本で住む自分には非常に興味をそそられる疑問です。

3. アプローチ方法

 数理最適化で組合せ最適化問題として捉える

私たちAI戦略室では、数理最適化技術と機械学習を専門としており、雑談の中でふと「数理最適化とLLM（大規模言語モデル）を組み合わせれば、この問題に網羅的にアプローチできるのではないか？」という話になりました。

前者については、パングラムを数理最適化の問題として、特定のルールを満たす有限の組み合わせを探索する数理最適化の一例として捉えられるのではないかということです。

日本語の文字数は46文字と多いため、46の階乗、つまり「5.5026222e+57」通りの組み合わせがあります。しかし、文法を制約として考えれば、この膨大な組み合わせから一定のルールを満たすものを全列挙することも、現在のコンピューティングリソースとアルゴリズムを使えば可能ではないでしょうか。

文法的に成立する完全パングラムを数理最適化技術を用いて洗い出したとき、その数は1億個かもしれませんし、10億個かもしれません。あるいは1000個程度しか存在しないかもしれません。そして、そのなかに「いろは歌」もあるはずです。とてもロマンを感じませんか。

LLMによる擬似的な官能評価

次に、数理最適化で列挙した組み合わせに対して、LLMを用いて擬似的な官能評価*1 を行います。仮に1億件の候補があっても、APIで並列処理を行えば、APIの処理時間を1秒と仮定して、並列で100個回せば約10日で評価が完了する計算です。

*1. 官能評価とは、人間の感覚器官（視覚、聴覚、嗅覚、味覚、触覚）を用いて製品の特性や品質を評価する方法のことを指します。主に食品、飲料、香料、化粧品、消費財などの分野で使用されます。

つまり、こういうことです。

• 46文字の組み合わせについて、文法を制約にした組合せ最適化問題として全列挙する
• LLMで擬似的な官能評価を行い、点数を付けて序列化する

このとき、もっと美しいと評価される完全パングラムはどのようなものでしょうか。

もし「いろは歌」が最も優れた完全パングラムであれば、それはすばらしいことです。1000年前に誰かが思いつきで作ったものが、5.5026222e+57の組み合わせから最適解であったということなので。

一方、「いろは歌」を超えるものが見つかれば、それがどのようなものかについても非常に興味をそそられます。

4. 課題はプロンプトの設計

この雑談は「いろは歌ってすごいよね。でも、他にはどのようなものがあるのか」「いろは歌より芸術的なものってあるのだろうか」というものでした。1つ目については、厳密解でないにせよある程度の客観性は担保されると思うので、課題は2つ目をどのように評価するか、ここの客観性をいかに担保するかというところだと思います。

そこで、この記事ではいくつかのペルソナを設定し、そのペルソナになりきってもらったLLMに感想を聴くことで擬似的な官能評価を行う手法を提案したいと思います。

俳句でデモをしてみます。

5. 俳句で官能評価をやってみる

データ

LLMによる擬似的な官能評価を行う例を紹介します。パングラムの例がないので、俳句で代替します。

以下の5個の俳句を使うことにします。

古池や 蛙飛びこむ 水の音（ふるいけや かわずとびこむ みずのおと）

閑けさや 岩にしみ入る 蝉の声（しずけさや いわにしみいる せみのこえ）

流れ行く 大根の葉の 早さかな（ながれゆく だいこんのはの はやさかな）

松の葉の 一つふれ合う 寒さかな（まつのはの ひとつふれあう さむさかな）

夏来て もるる氷を 舐めている（なつきて もるるこおりを なめている）

実験方法

LLMは文脈に沿って確率的に続きやすいものを出力する性質があるため、何名かのペルソナを設定し、それぞれの人を演じてもらったうえでどう思うかを回答させることにします。

本来、セグメントを実データに基づいて検討することが重要だと思いますが、今回は簡易的な検証ということで、マーケティングで用いられることの多い性別と年齢別セグメントで代替し、その人数比についても考慮しません。

F0からM3までのペルソナをLLMで作成してもらいました。実験は、以下の手順で行います。

1. ペルソナを設定する（今回は、F0層、F1層、F2層、F3層、M1層、M2層、M3層という区分けを使います）
2. LLMに各ペルソナに演じてもらって、ある俳句を渡したとき、その人ならどう思うかという観点で擬似的な官能評価を行う
3. それを集計して、定量的に評価する

ペルソナの設定

以下にLLMが作ったペルソナを表にまとめました。プロンプトは「F0層、F1層、F2層、F3層、M1層、M2層、M3層でペルソナを設定してください。それぞれの層のペルソナについての描写は100文字程度の簡単なもので構いません。名前についても設定してください。」という簡単なものです。

LLMによる官能評価

次に、LLに上記のペルソナになってもらって、一つ一つの俳句を評価してもらいます。プロンプトは以下を使いました。

LLMの回答

以下のような結果が返ってきました。男性のペルソナと女性のペルソナの回答を一例ずつ抜粋します。

ペルソナ: さくら (F3)

ペルソナ: しんいち (M2)

評価軸が安直なので改善点はありますが、ペルソナを設定することで擬似的に官能評価を行うということはができそうな感触が得られました。もう少しちゃんとやろうとすると、評価軸をしっかりと定め、セグメント別の人数規模を考慮する必要があります。

結果と所感

結果を平均値で集計すると、以下となります。

古池や 蛙飛びこむ 水の音：4.9点

閑けさや 岩にしみ入る 蝉の声：4.6点

夏草や 兵どもが 夢の跡：3.9点

荒海や 佐渡によこたふ 天の川：4.1点

流れ行く 大根の葉の 早さかな：4.4点

官能評価をLLMにデモさせることで、「古池や 蛙飛びこむ 水の音」が1番よいということになりました。全列挙したパングラムの評価にも同様の評価方法が適用できると考えております。

6. 結論

この記事では、1000年の未解決問題である日本語完全パングラム問題に対して数理最適化とLLMで網羅的にアプローチする手法の提案を行いました。この方法を応用すれば、1000年に渡る日本語パングラムのうち、異様に完成度の高い「いろは歌」がどのレベルのものなのかを外側から知ることができるかもしれません。

7. ソフトバンクでの挑戦

チームで一緒に働いているメンバーは、アカデミックでキャリアを積んでいた人、コンサル出身の人、技術が心から好きな人、海外から参画しているメンバーなどです。チームメンバーとZoomの打ち合わせのあとに少し雑談してみたり、週1で出社のときにラウンジで話したりしました。自分の些末な思いつきだったのですが、チームメンバーにはそんな話題に付き合っていただき、たのしい時間を過ごせました。

ソフトバンクでは、卓越した技術をベースに自由なアイデアを発想し、情報革命という社会変革を担える人材を募集しています。

データサイエンティストやAI/MLエンジニアについても募集しておりますので、数理最適化と最新AIに卓越した技術をもつエンジニアの方は、ぜひソフトバンクで一緒に働きましょう。