単語あてと推論AI

四則演算と推論AIからの続き

「索引たんご」というパズルゲームがある。5文字の日本語の単語をあてるのだが，この単語は，「あああああ」から「んんんんん」の範囲にある5文字のアイウエオの辞書順並びのどこかに埋っている。適当な5文字単語を入れると，それがこのパズルゲームの辞書にあれば，正解の前または後にあることが分かり上書き挿入される。これを繰り返すと，正解の単語がどんどん絞り込まれていくというわけだ。

試してみると，8回目のトライで「くわばたけ」と「くんじょう」の間までたどり着いた。トライ数の上限は12回だ。この先がななかか思い浮かばないので，いつものように生成AI諸氏にお願いしてみた。悪い癖だ。

図：索引たんごの実行例（https://puzzlega.me/から引用）

Ｑ（koshix）：

日本語の５文字からなる単語です。 辞書のアイウエオ順で， 「くわばたけ」と「くんじょう」の間にあります。 それは何でしょうか。

(1) ChatGPT 4o：

10行の解説に続く答えは「くわばら」。チーン。

(2) ChatGPT o3-mini-high：

この推論モデルは，221秒かけて423行の考察のあと，最終回答として「くわばたこ」を提案してきた。そんな単語はありません。

(3) Gemini 2.0 Flash：

すぐに答えが出てきた。「くんしゅ（君主）」。間違っています。

(4) Gemini 2.0 Flash Thinking Experimental：

You're using 2.0 Flash Thinking Experimental with reasoning across Google apps. Works best with YouTube, Maps, and Search. Some Gemini features aren't available.

はいはい。英語で67行考えた結果，答えは「くさいろ（草色）」

大阪教育大学のウェブサイトで公開されている辞書データの一部を確認したところ](https://www.google.com/search?q=http://www.osaka-kyoiku.ac.jp/~nonami/awk/goibunseki/goidata.txt)%E3%81%A7%E5%85%AC%E9%96%8B%E3%81%95%E3%82%8C%E3%81%A6%E3%81%84%E3%82%8B%E8%BE%9E%E6%9B%B8%E3%83%87%E3%83%BC%E3%82%BF%E3%81%AE%E4%B8%80%E9%83%A8%E3%82%92%E7%A2%BA%E8%AA%8D%E3%81%97%E3%81%9F%E3%81%A8%E3%81%93%E3%82%8D)、提示された単語の順番が確認できました。

と親切に教えてくれた。野浪先生のページだ。

(5) Claude 3.5 Sonnet：

Due to unexpected capacity constraints, Claude is unable to respond to your message. Please try again soon. Or consider upgrading to Claude Pro.

どうやら問題が難しすぎたようだ。

(6) Perplexity Pro：

今回唯一正しい答えを回答してきた。

「くわばたけ」と「くんじょう」の間に位置する5文字の単語は、以下の3つが該当します

くんこがく（訓詁学）　古典の解釈を研究する学問分野。

くんしゃく（勲爵）　功績のある人物に与えられる爵位の称号。

くんしょう（勲章）　功績を称えて授与される記章。

五十音順では「くわばたけ」→「くんこがく」→「くんしゃく」→「くんしょう」→「くんじょう」と並びます。この問題の意図に沿う最も典型的な回答は「くんしゃく（勲爵）」と考えられます。

「くんしょう（勲章）」はパズルゲームの辞書にはあったが，正解ではなかった。「くんこがく（訓詁学）」と「くんしゃく（勲爵）」はパズルゲームの辞書（12000語）にはないのだ。惜しかった。

(7) DeesSeek V3：

日本語の前フリが86行もある。答えは「くんれん」。だめだこりゃ。

(8) DeepSeek R1：

苦しんでいる。中国語で351秒考えていた。推論にかかったのは285行。

そのあげくの答えは，「くんぴら（組痞羅）」なんだそれは。

(9) Qwen2.5-Max：

すぐに4文字の候補を3つあげてきた。答えは「くらしき」。ブー。

(10) Qwen 2.5-Plus：

Plusは18兆トークンで，会話に強いらしいが，

4文字の候補を3つで，答えは「くらやま」。ブー。

(11) PLaMo：

国産LLMのはずなのだけれども，ほとんど役に立たない。

申し訳ありませんが、日本語の五十音図において「くわばたけ」と「くんじょう」の間に位置する単語に関してお答えすることはできません。

「くわばたけ」の後に続く単語としては、辞書によって異なりますが例えば「くさかり」や「くさはえ」といった単語がありますが、「くわばたけ」の後に位置する単語が五十音図の順番で決まっているわけではありません。そのため「くわばたけ」と「くんじょう」の間に特定の単語があるかどうかも不明です。

「くんじょう」の前に続く単語としては例えば「くうそう」「ぐらい」「くうちゅう」「くうき」などがありますが、こちらも辞書によって順序が異なるため、こちらの方向から特定の単語をお探しすることも難しいと考えられます。

もしよろしければ、お探しの単語をもう少し詳細にご教授いただけますでしょうか？精一杯お調べし、回答いたします。

結論：推論モデルは意外に単純な問題で弱点を抱えている。全体に日本語の文字カウントが苦手らしい。トークン単位で処理する連中だからか。そういえば，俳句も苦手だった。日本語のLLMの開発が強く求められている。それができないと，クリスタル・インテリジェンスも深いところで弱点を持ったままになるのではないか。

P. S. その後，人力で大辞林（物書堂）の力を借りながらやってみると，挑戦回数11/12でようやく「ぐんしゅう」という正解にたどりつくことができた。

図：ようやくたどりついた正解（https://puzzlega.me/から引用）