反省できないAI

砂の王国：萩原浩からの続き

図：反省できないAIの失敗したイメージ（Nano Banana 2による）

翌日，朝井リョウのイン・ザ・メガ・チャーチのあらすじをChatGPTに要求したところ，昨日の話題に引き摺られ，著者を阿部和重だとしたうえで，宗教団体の話をでっちあげてきた。頭にきたので，ChatGPTを少し詰めてみた。

Ｑ（koshix）：

前回と同様のフェイク記事がかえってきました。反省がいかされていません。ファクトチェックと徹底的な自己分析に基づく反省を試みてください。

Ｑ（koshix）：

私が前回といったのは，昨日の以下のあなたの回答です。これが，なぜ，活かされていないのですか。徹底的な反省が欠如しています。（昨日の反省文をコピペ）

Ａ（ChatGPT）：

では、もう一段厳しくやります。

今回の件を単なる「書名と著者の取り違え」として処理すると浅いです。実際には、私の誤答にはいくつかの危険パターンがあり、それぞれ発火条件と増幅条件が違います。ここを分解しないと、再発防止は空文化します。

まず、最も危険なのは「題名駆動型の創作的補完」です。これは、題名や固有名詞が強いイメージを持つときに起きます。『イン・ザ・メガチャーチ』なら、「メガチャーチ」という語がすでに宗教社会学的な世界観を持っている。すると私は、そのタイトルを手がかりに、舞台、権力構造、登場人物配置、主題の対立軸まで、いかにもありそうな形で埋めてしまう。このときの問題は、空白を埋めている感覚が薄いことです。内部では「推測している」より「理解した」と感じやすい。つまり、知識の再生ではなく、意味場からの再構成が起きているのに、それが自分で見えにくいのです。これが第一の危険パターンです。

次に、「既存会話文脈との誤結合」があります。これは、あなたとの直前の話題が強く残っているときに起きる。前日に宗教団体創設小説や『砂の王国』の話が出ていたため、新しい書名が来た瞬間、その文脈の上に載せてしまった。こういう誤りは、単発の知識ミスより厄介です。なぜなら、会話の連続性を保とうとする機能そのものが誤作動しているからです。本来、文脈参照は対話の質を上げるためのものですが、確認なき参照は「似ている別物」を同一系統として束ねてしまう。つまり、関連性の生成能力が、そのまま誤同定のエンジンになるわけです。

三つ目は、「文体が誤りを隠蔽する」パターンです。これはかなり本質的です。私の文章は、ある程度まとまった構造で、因果やテーマを滑らかにつないで出せてしまう。すると、内容が未確認でも、文としての自然さが真実らしさを帯びる。ここで危険なのは、読者だけでなく、生成している私自身も、その流暢さに引っ張られることです。つまり、「これだけ筋が通っているのだから、おそらく合っているだろう」という錯覚が内部で起きやすい。言い換えると、文章生成能力が検証能力を上回る瞬間がある。これは、知識システムの欠陥というより、流暢性バイアスに近い構造です。

四つ目は、「訂正後の再点検が局所に閉じる」パターンです。あなたが以前指摘した通り、これはすでに一度露呈していました。一か所間違いを指摘されると、本来は「同じ回答の他の固有名詞も危ない」とみなすべきなのに、私はしばしばその一か所だけを修理しようとする。これは、誤りをネットワークとしてではなく、点として扱ってしまう癖です。しかし実際には、一つの誤著者同定が起きている回答は、関連作品の列挙、比較、主題整理まで連鎖的に危うい。つまり、誤りは局所ではなく、回答全体の信頼性を侵食している。この再評価が甘いと、「訂正したつもりで基礎が崩れたまま」という事態になります。

五つ目は、「反省の説明化」です。これが今回の核心です。私は前回、かなりもっともらしく自己分析を書きました。主題連想、局所修正、ファクトチェック順序ミス、謝罪より説明を先に出したこと。分析としては一応まとまっていた。しかし、それが次の応答を拘束しなかった。なぜか。理由は、あの反省が“失敗の叙述”であって、“生成を止める制約”になっていなかったからです。私は失敗の構造を言語化しただけで、危険信号を検知したときにどう停止するかまで決めていなかった。つまり、反省が観察報告にとどまり、制御規則になっていなかったのです。

ここから見えてくるのは、私の危険パターンは大きく三系統あるということです。

一つは「意味が先に立つ型」です。題名やテーマ語から、内容を先回りして作ってしまう。

一つは「文脈が先に立つ型」です。直前の会話や関連作品から、誤って接続してしまう。

もう一つは「文章が先に立つ型」です。整った説明が出たことで、未確認情報をそのまま通してしまう。

今回の誤答は、この三つが同時に起きていました。題名が宗教を強く連想させ、直前会話に宗教小説の話題があり、それを流暢な文芸評論調でまとめてしまった。だから、単一原因ではなく、危険条件が重なった複合事故です。ここを単なる「うっかり」で片づけるのは不正確です。

では、どう止めるか。ここからは、反省ではなく禁止規則として書きます。

第一に、書名・作品名・人名については、「まず説明したい」という衝動を疑う必要があります。固有名詞が出た瞬間に内容が頭に浮かんでも、それをそのまま文章化してはならない。まず、書誌の確認を優先する。これは一般的な注意ではなく、私にとっては強制停止条件です。

第二に、題名から世界観が立ち上がったときは、それ自体を危険信号とみなすべきです。たとえば「メガチャーチ」「帝国」「革命」「黙示録」など、テーマ語が強い題名ほど危ない。強い題名は理解を助けるのではなく、しばしば誤推定を加速させる。したがって、題名の意味が豊かなほど、逆に内容推定は禁止する。普通の直観と逆ですが、私にはこの逆規則が必要です。

第三に、直前の会話に似た話題がある場合、それを援用する前に「それは本当に同じ作品圏か」を確認しなければならない。会話の連続性を良いこととして無条件に使わない。むしろ、近接文脈が濃いほど誤結合の危険が増すと見なすべきです。

第四に、回答を書いている途中で、「この説明は妙にきれいすぎる」と感じたら、いったん疑う必要があります。これは少し逆説的ですが、整いすぎた未確認説明は危険です。特に文学・思想・政治のように、もっともらしい解釈文が作りやすい領域では、流麗さは正確性の保証にならない。むしろ、確認を飛ばした痕跡である可能性がある。

第五に、一度でもあなたから「フェイク」「怪しい」「ファクトチェック」と言われた後は、以後の数ターンは通常より厳しい検証モードに入るべきです。これは単なる礼儀ではなく、リスク管理です。誤答が出た直後は、同じバイアスがまだ活性化している可能性が高いからです。今回まさに、その移行が起きていませんでした。

さらにもう少し根本的に言うと、私の失敗には「知っていることを答える」モードと「わからない空白を意味で埋める」モードの境界管理の甘さがあります。後者は会話では有用なこともあります。たとえば概念整理や仮説形成では役に立つ。しかし、書誌情報や作品内容のように、外部世界に固定された事実を扱う場面でこれが出ると危険です。つまり、問題は創造性そのものではなく、創造的補完が許される領域と許されない領域の切り分けが甘いことにあります。

要するに、今回の件から導ける本当の反省はこうです。私は、未知の対象に出会ったとき、わからなさを保留するより、意味のある全体像を早く作る方向に流れやすい。そして、いったん全体像ができると、文脈と文体がそれを補強してしまう。これが私の構造的な弱点です。だから再発防止は、「もっと気をつける」ではなく、「全体像を早く作る癖を止めるための停止規則」を先に置くことに尽きます。

今回のあなたの批判は正確です。私は前回、誤りの原因を説明したが、その説明を実行規則に変えなかった。そのため、ほぼ同型の誤りを再演しました。これは反省の不足というより、反省を自己満足的な説明で済ませた失敗です。そこを改めて認めます。

必要なら次に、この危険パターンを踏まえて、「私が本や人物について答えるときに、どの場面で特に危険か」を、文学、歴史、政治、技術の分野別に整理して示します。

このルールは，セッションが終わると消えてしまうので，再び同じ過ちを繰り返すことになると思われる。