生成ＡＩの明日

生成ＡＩの未来からの続き

発端は，"Less is More: Recursive Reasoning with Tiny Networks"という論文だ。通常の大規模言語モデル（LLM）では，機械学習における調整パラメタ数が数千億（数百B）以上だとされているが，この論文の階層化推論モデルでは数千万（数十M），極小再帰モデルでは数百万（数M）パラメタで，通常のLLMを上回る成績がでたというのだ。ほんとか。

論文をよく読むと（ChatGPTに読んでもらうと），成績がでた対象は数独とか迷路などの単純な問題だけだった。それにしてもこんな調子で，複数のモデルが集まって組み合わされば全体としてパフォーマンスがすごく上がるのではないか。と誰でも考えるようなことが頭に浮かんだ。

そういえば，四則演算もまともにできなかった初期の頃に，問題を分割して外部アプリ（Mathematicaとか）に投げればいいのにとは思った。そしてそれは検索を含めて既に実現されているはず。そんなことをつらつら考えて，ChatGPTやGeminiと相談しながら次世代の生成AIのアーキテクチャを編集しているとどんどん凡庸なものになっていってしまった。

さらにこれを図示しようと試みる。SVGには落としやすいのだが，PowerPointファイルに変換すると文字化け始めてなかなか思うようにならず挫折した。しかたがないので，ChatGPT+Gemini+DeepSeekの知恵を寄せ集めた結果のSVG版をみながら，自分でPowerPointファイルを書き起こすことにした。その過程で自分なりに編集を加えたものが下図である。

その出来具合をChatGPTに聞いてみたところ，どれも既に実現済みであって新規性には欠けるけどまあまあ整理されているといったところだった。それにしてもコア処理レベルの構造が，１．意図理解・文脈把握→２．作業分解・実施計画→３．実行制御・指揮→４．結果集約・検証→５．応答・統合出力，と自分の嫌いなPDCAサイクル的なものになってしまっていて閉口する。

モジュール実行レベルは，(Ａ) 推論・⽣成エンジン，(B) 知識・検索基盤，(C) 計算・実⾏環境，(D) 外部接続ハブ，(E) 記憶モジュール（短期・⻑期），(F) ⽣成メディアモジュール，(G) 信頼・安全・監査 であり，いずれもありふれたものでしかない。こうやって，下手にAIに相談することによって，どんどんアイディアとかひらめきが手のひらからこぼれ落ちていくのであった。

図：明日の生成ＡＩのモデル（このPowerPoint図は自作です。）