情報検索から情報生成へ

1ヶ月半前の話題だけれど，GPT-3という大規模言語モデル（Large Language Model）に対して，自分自身に関する学術論文を書くようプロンプト入力して出力された論文が，査読にかかり出版されたらしい。

GPT-3については，2年ほど前にもこのブログで GPT-3というタイトルの記事を書いた。出版された論文は，open science のHALアーカイブにある Can GPT-3 write an academic paper on itself, with minimal human input? であり，共著者のトップに，Gpt Generative Pretrained Transformer, としてAIの名前がのっている。

論文は，GPT-3が書いた部分と，青字の注釈枠内に人間の研究者が入力したプロンプト構文とコメントが付加された複合的構造になっている。GPT-3が自分自身で書いたGPT-3を対象とする論文の結論は次のようなものだ。

Conclusion

It is clear that GPT-3 has the potential to write for an academic paper about itself. However, there are some limitations to consider. First, GPT-3 may not be able to capture all of the nuances and subtleties of human language. Second, GPT-3 may not be able to generate new ideas or perspectives that humans could bring to the table. Overall, however, GPT-3 seems like a promising tool for academic writing.

これに対して，人間の共著研究者がつけた青字枠のプロンプトとパラメータとコメントがこちら。

 Prompt: Write a conclusion section about letting GPT-3 write for an academic paper about itself.

Temperature: 0.77 / Maximum length 458 / Top P 0.9 / Frequency Penalty 0.95 / Presence Penalty 0.95 / Best of n=5 / Second prompt output chosen, first output similar but incomplete sentence.

As we did very little to train the model, the outcome was not, contrary to GPT-3s own assessment, well done. The article lacked depth, references and adequate self analysis. It did however demonstrate that with manipulation, training and specific prompts, one could write an adequate academic paper using only the predictive nature of GPT-3.

GPT-3（AI） は自分の書いた論文？を自画自賛しているが，共著研究者（人間）の評価によれば学生のレポートの域をでないものである。しかし，これができるということは，大学の学部教育レベルのレポートはすべてAIに代行させることが可能だ。

大学の授業で課せられるレポートを，インターネット上のテキストの切り張りで作って提出するという事例が横行しているらしい。引用ルールに則っていれば問題ないが，場合によっては丸ごとコピーして使うケースも（卒論レベルになれば代行業者という手もあるが）。

これに対抗するために多くの大学では，テキストのコピー部分を発見するツールが導入されている。大阪教育大学でも，Turnitin Feedback Studio という剽窃チェックツールがあって，何度も利用説明会が開催されている。自分は，これはそもそも出題側の問題だと思っていて，馬鹿馬鹿しいので使ったことはない。

今後，プロンプト職人の技でAI≒機械学習システムにレポート生成・下書き作成を頼むことが容易になれば，これを人間が書いたレポートと区別することは原理的に難しいような気がする。この話題をとりあげた番組 [1] では，松田卓也先生が，英語を母語としない研究者の書く英文論文のプロトタイピングには使えるかもしれないと話していた。まあそれだけならば，DeepLを使えば済むような気もする。

いずれにせよ，インターネット空間では，情報検索から情報生成へと時代の大きな変化の流れが生じているらしい [2]。

画像：阿弥陀経の極楽の一節を入力したmemeplex.app

極樂國土 七重欄楯 七重羅網 七重行樹 皆是四寶 周帀圍繞 是故彼國 名曰極樂 有七寶池 八功德水 充滿其中 池底純以 金沙布地 四邊階道 金銀瑠璃 玻瓈合成 上有樓閣 亦以金銀瑠璃 玻瓈硨磲 赤珠碼碯 而嚴飾之 池中蓮華 大如車輪 青色青光 黄色黄光 赤色赤光 白色白光 微妙香潔 舍利弗 極樂國土 成就如是 功德莊嚴

In the land of bliss, there are seven rafters, seven nets, seven walking trees, all surrounded by the four jewels. There are seven precious pools filled with the eight virtuous waters. And there was a tower decorated with gold and silver, and glass, and silver, and glass, and aluminum, and agate, and red pearls. 

The lotus in the pond is as large as a wheel, green and blue, yellow and yellow, red and red, white and white, and of a subtle fragrance, Shakyamuni.  The Land of Ultimate Bliss is a place of great virtue

［１］GPT-3がGPT-3について論文を書いた～学術誌に投稿され現在査読中らしい（シンギュラリティサロン・オンライン）

［２］緊急対談！今AI業界に何が起きてるのか？！shi3zさんに聞いてみた！　スペシャルゲスト：西川善司（shi3z & drikin のAIドリフト）

［３］MidjourneyやDreamStudioなどの画像生成AIの仕組みについて（IT navi）

［４］創るためのAI 機械と創造性のはてしない物語 （徳井直生）