GPT-3

しばらく前から，GPT-3が話題になっていた。星暁雄さんの解説「革命かパンドラの箱か，新AIツールGPT-3の波紋」がわかりやすかったので要約してみる。GPT-3はサンフランシスコにある非営利組織のOpenAIが開発して2020年6月に公開したAIツールである。OpenAIは，オープンソースと親和性の高い安全な人工知能への道を探ることを目的としている。

GPT-3をひとことでいうと，英単語や短い文章をインプットすると，関連する「それらしい」テキストを自動生成するツールである。文章以外に，プログラムコードや楽譜を自動的に生成すこともできるため，大きな反響をよんでいる。

その仕組みは，"Language Models are Few-Shot Learners"という論文で報告されている。1兆語からなるきわめて巨大な例文集を元に，1750億種類の変数を持つ「言語モデル」に言葉と言葉の関連の度合いを記憶させておき，この「言語モデル」に対して「数種類の実例と課題文」を与えると，それらしい文章を出力するものである。すべては公開されていないが，APIによって短い例文で試してみることはできるようだ。フェイクニュースや差別的表現が簡単に作り出されることなどまだまだ課題は大きいのかもしれないが，汎用的なAIへの一つのステップ。