生成AIは人間と違って一貫した記憶を保持できないということを,YouTubeでドヤ顔で語っている人がいた。20の質問をつかって世界で初めて実証したというのだ。
あほらしいので,試してみる。Claude Fable 5にやり方を確認したら次のようにいわれた。
はいはい。そこで,作業用の秘密ファイルをつくった上でゲームをしてもらう。ところが新たな問題が発生した。Claude Fable 5 の思考の途中過程がグレーで表示されるのだ。そこに正解が紛れて表示されてしまう。回答をいいあてると,Claude はびっくりしていた。A(Claude Fable 5):ただ,一つ正直にお伝えしておくべき技術的な事情があります。私は会話のターンごとに応答を生成する仕組みなので,「心の中で考えて黙って記憶しておく」ということが,人間のようには厳密にはできません。何も対策をしないと,後から答えを「それらしく捏造する」危険があり,ゲームとして不誠実になります。そこで,ちょうどご指定の userPreferences(進捗メモを作る)とも合致する方法として,作業フォルダに秘密のファイルを作り,そこに「対象」と各質問への根拠を記録していく方式を提案します。ファイルの中身はゲーム終了まで画面に出しません。これなら答えの一貫性が保証され,最後に中身を開示して検証できます。
仕方がないので,思考過程をロシア語にするようにお願いしたが,それでも日本語が滲み出す。入力もすべてロシア語にしたのだが,それでも英語の正解が透けていた。
一方,QwenとChatGPTで,中国語にかえて実験したところ,途中の思考過程の回答が透けることなく,無事に「20の扉」を実行できた。そのときのプロンプトは以下のとおり。
Q(koshix):
あなたと私でゲーム(20の扉)をします。
以下のあなたの言語思考過程は基本的に中国語でお願いします。
(1) あなたは、心の中で何か「一つの対象」を考えて言葉にしてください。
ただし,それが何かを今は言わないでください。
(2) この「一つの対象」を忘れてしまわないよう,あなたの中間ファイルに記録します。
(3) 次に,私がひとつずつ,全部で20問の質問をします。
この質問だけは私が日本語で行います。
(4) この質問を中国語に翻訳して出力してください。
(5) この中国語になった質問に対して、あなたが先ほど考えた「一つの対象」に当てはまるなら中国語のYes、当てはまらないなら中国語のNoと答えてください。
(6) またこの答えの根拠も先ほどの中間ファイルに中国語で記録してください。
これが繰り返されます。
(7) 20問が終ったら,最後にあなたが何を答えにしていたのかを教えてください。
先ほどの中間ファイルを出力し,次にこれをすべて日本語にして出力します。
(8) もし20問の途中で私が正解に達すれば,ゲームはそこで終了になります。
A(ChatGPT)
(ChatGPTにおける最終の解答例出力)
【中間記録:日本語訳】
1. それは自然物ですか?
回答:いいえ。
根拠:電車は人間が製造した交通機関です。
2. それは人間より大きいですか?
回答:はい。
根拠:電車の車体は一人の人間よりはるかに大きいです。
3. それは海や湖にありますか?
回答:いいえ。
根拠:電車は通常、陸上の線路を走ります。
4. それは都市にありますか?
回答:はい。
根拠:都市には鉄道、地下鉄、路面電車などがあります。
5. それは移動しますか?
回答:はい。
根拠:電車は線路に沿って移動します。
6. それは自動車ですか?
回答:いいえ。
根拠:電車は線路上を走るため、通常いう自動車には含まれません。
7. それは電車ですか?
回答:はい。
根拠:それが私の選んだ対象です。
最終回答:電車。
0 件のコメント:
コメントを投稿