状況認識：次の１０年

Open AIの元研究者が，セキュリティ上の懸念を取締役会に訴えたため解雇された。のアッシェンブレナーが書いた文書が，Situational Awareness: The Decade Ahead である。その内容をGPT-4oに聞いてみた。最初はそっけない答えだったので，何回も問いただした結果が次のまとめである。これでも，結論がわからなかったので，そこはさらに問い詰めた。

Ｑ（koshix）：

https://situational-awareness.ai の内容を日本語で私にわかるように説明してください。

Ａ（GPT-4o）：

序章

「Situation Awareness: The Decade Ahead」では、AI技術の進展が引き起こす未来の変化について深く探求しています。特にサンフランシスコがこの変化の中心地となることが予測されています。著者は、過去数年間のAIの進歩が予測可能であったことを指摘し、今後の数年間も同様に予測できる可能性が高いと主張します。AI技術の急速な発展と、それに伴う社会的影響について、具体的なデータと予測を交えながら解説しています。

第１章：GPT-4からAGIへ

この章では、GPT-2からGPT-4への進化過程を振り返り、2027年までにAGIが達成される可能性について詳細に述べています。著者は、計算能力の向上、アルゴリズムの効率化、そして「アンホブリング」と呼ばれるAIの能力解放がAGIの達成に寄与すると説明しています。これらの要素が組み合わさることで、AIの知能は現在の高校生レベルから大きく飛躍し、2027年までに人間レベルの知能に達する可能性が高いと予測しています。

第２章：AGIから超知能へ

AGIが人間の知能を超え、超知能に進化する過程とその影響について詳述しています。数百万のAGIがAI研究を自動化し、アルゴリズムの進歩を急速に進めることで、短期間で人間レベルから超人レベルのAIシステムへの移行が可能となります。超知能がもたらす力と危険性についても深く掘り下げ、その影響の大きさと社会に与える可能性のある変化について議論しています。

第３章：課題

技術資本の加速

AI技術の急速な発展に伴い、GPUやデータセンターへの大規模な投資が必要です。特にアメリカでは、電力生産が数十パーセント増加し、数百万人のGPUが稼働することが見込まれています。この産業動員は、AIの発展を支えるための重要なステップとなります。

セキュリティの確保

AGIの開発と実装に伴うセキュリティ問題は重大です。現在、多くのAI研究所はセキュリティを軽視しており、国家レベルの脅威に対処するための対策が急務となっています。AGIの機密情報を保護し、悪意ある国家や組織からの攻撃を防ぐための具体的な戦略が必要です。

超整合性

超知能を安全に制御するための技術的課題は未解決です。急速な知能爆発の中で制御を失うリスクがあり、失敗すれば壊滅的な結果を招く可能性があります。超知能の整合性を保つための技術的および倫理的な問題について詳細に議論されています。

自由世界の存続

超知能が経済的および軍事的な優位性をもたらす中、中国との競争が激化しています。自由世界がその優位性を維持しつつ、自己破壊を回避できるかが重要な課題となっています。自由世界の存続とAI競争における戦略的な対策についても深く掘り下げられています。

第４章：プロジェクト

AGIへの競争が激化する中で、国家安全保障が関与するAGIプロジェクトの出現が予測されます。2027年から2028年にかけて、米国政府がAGIプロジェクトを主導し、スタートアップ企業では対処できない超知能の管理に取り組むことが期待されています。この章では、政府の役割とその影響について詳細に考察されています。

第５章：終わりに

これらの予測が正しい場合、私たちが直面する未来について考察します。超知能の出現がもたらす可能性のあるシナリオと、それに伴う社会的、経済的影響について議論し、これからの対策の必要性を強調しています。最終的には、これらの技術的進歩が人類にどのような影響を与えるか、そして私たちがどのように対応すべきかについての洞察を提供しています。

Ｑ（koshix）：
https://situational-awareness.ai の 第5章の結論をより具体的に示してください。 

 Ａ（GPT-4o）：
「Situational Awareness: The Decade Ahead」の第5章では、AI技術の進展に対する現実的な視点（AGIリアリズム）について論じています。著者は、AGIが国家安全保障の問題であり、特にアメリカがリードする必要があると強調します。アメリカがAGIの開発と管理を主導しないと、権威主義的な国家が先行するリスクが高いからです。著者は、現在のAI技術の進歩は、単なるシリコンバレーの技術ブームではなく、世界を劇的に変える可能性があると述べています。特に2020年代の終わりまでに、スーパーインテリジェンスが現れると予測しています。この技術の進展は、新しい世界秩序をもたらす可能性があり、その過程で発生するリスクとチャンスについても触れています。AGIリアリズムの核心は次の三点です：

1. 国家安全保障としてのスーパーインテリジェンス：これまでで最も強力な兵器となり、これに関わる者にとって最も重要な仕事となる。
2. アメリカのリーダーシップ：自由の灯火を保つためには、アメリカがAGIのリーダーシップを取る必要がある。これはAIクラスターの建設とセキュリティの強化を含む。
3. 失敗のリスク管理：スーパーインテリジェンスのリスクは現実的であり、これを管理するためには真剣な取り組みが必要。

最終的に、著者はAI技術の進展が私たちに与える重みと、その未来についての深い洞察を共有しています。この進展は、少数の人々の手に委ねられており、これからの数年間が非常に重要であると述べています。

図：DALL-Eが答えた暗い方のイメージ・・・

現代のレオ・シラードか。なんだか，原爆開発をルーズベルトに進言させた件を想起させる。もっとも，このたびは開発の次にくる軍事管理の勧めになってしまっているようだ。これならば，OpenAIが握っているほうがまだましか。

問題は，インターネット等を経由した社会システム基盤のコンピュータネットワークシステムへの介入とAGIが結びついたときに深刻になる。人類全体が，その生命維持機構をクラッキングされてしまうことだ。電力制御，通信制御，生産制御，金融制御，医療制御，軍事制御などをのっとられてしまうとき（一番は核ミサイルシステム？），どうするかということだ。

［１］LLMの現状〜国家の最重要プロジェクトレベルで取り組むべき（松田語録）