対話と検索の狭間

対話の時代からの続き

ChatGPTの影響はまだ続いている。ChatGPTに対抗・関連・代替するシステムが多数出現中だ。ChatGPTは，学術的な問いに正確な回答はできない。引用文献も出鱈目である。こういう場合に推奨されているのが次のシステムだ。

(1) Elicitは，Oughtという非営利研究機関により，2022年4月に運用が始まった大規模言語モデル（GPT-3）を用いる研究支援ツールだ。質問をすると，1億7千5百万本の論文に基づいて関連する数編の論文と重要な情報の要約を表示する。

(2) Perplexityは，米国のAI開発企業 Perlpexity AIが開発した，世界最初の対話型検索エンジンを謳ったシステムだ。大規模な言語モデルと検索エンジンを用いて複雑な質問に対して正確な回答と根拠となる参考文献を5件及び関連情報を提供するアンサーエンジンである。

(3) これは噂だけなのだが，Claudeは，AnthropicというOpenAIの元社員によるAIスタートアップ企業が開発中の対話型AIである。ChatGPTとの比較記事が出されている。OpenAIの「ChatGPT」と元OpenAIエンジニアが開発した「Claude」の性能を比較した実験結果。ChatGPTと比べ一長一短であり，計算力が特別優れているわけでもない。

"what are the effects of general relativity on the formation of planetary system"という質問で(1)(2)を比べてみた。参考のため，(4) Google Scholarも試した。質問の趣旨は，惑星系の形成過程で一般相対論的な効果はどのように影響するかというものだ。

(1) Elicitはそれらしい論文を示してくれた。最初の3本は妥当だけれど，次の4本は微妙だったり，pdfファイルがないものだった。(2) Perplexityは一般相対論に関する一般的な話を回答してきた。参考文献もWikipediaだったり，Open Sourceの教科書だったり，あまり専門的なものではない。(4) Google Scholarは，検索結果の参考文献を並べただけなのだが，ブラックホールの話や重力のScalar Tensor理論の話や，細胞核の話題など，ポイントがそれており問題を十分把握できていない。

Perplexityのようなインターフェースと表現で，Elicitレベルかそれ以上の答えが出てくればよいのだけれど，今のところ，自分で普通のgoogle検索を重ねるのが最も正解に近づきやすいという結果だ。