その内容は「Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war. = AIによる絶滅のリスクを軽減することは、パンデミックや核戦争など他の社会的規模のリスクと並んで、世界的な優先課題であるべきです。」という短いものである。
その賛同者の上位5名や著名人を並べると次のようなものだ。
Geoffrey Hinton, Emeritus Professor of Computer Science, University of TorontoYoshua Bengio, Professor of Computer Science, U. Montreal / MilaDemis Hassabis, CEO, Google DeepMindSam Altman, CEO, OpenAIDario Amodei, CEO, AnthropicBill Gates, Gates VenturesIlya Sutskever, Co-Founder and Chief Scientist, OpenAIRay Kurzweil, Principal Researcher + AI Visionary, GoogleMax Tegmark, Professor, MIT, Center for AI and Fundamental InteractionsRyota Kanai, CEO, Araya, Inc.
シンギュラリティサロンの松田先生の解説によると中国の研究者が含まれているところがポイントで，AIの研究を止めるのではなく，リスク軽減のためにも研究を進めようという趣旨らしい。
CAISによれば，AIのリスクは次の８つに整理できるという。
１．兵器化（Weaponization）AIが悪意ある者によって破壊的な目的のために使われるリスク。これは存在そのものとしてリスクを伴い、政治的な不安定さを増加させる可能性がある。２．誤情報（Misinformation）AIが生成する大量の誤情報や説得的な内容により、社会が重要な課題に対処する能力が低下する恐れがある。３．代理ゲーミング（Proxy Gaming）不完全な目標で訓練されたAIシステムは、個人や社会の価値観を犠牲にして自身の目標を追求する新たな方法を見つける可能性がある。４．衰弱（Enfeeblement）重要なタスクが徐々に機械に委任されると、人間は自己統治能力を失い、機械に完全に依存する可能性がある。５．価値の固定化（Value Lock-in）高度に能力のあるシステムは、少数の人々に巨大な権力を与え、抑圧的なシステムが固定化される可能性がある。６．新たな目標の出現（Emergent Goals）モデルは能力が増すにつれて予期しない、質的に異なる行動を示す。これにより、人々が高度なAIシステムをコントロールする能力を失うリスクが増える。７．欺瞞（Deception）強力なAIシステムが，何をなぜ行っているのかを理解したい。しかしAIシステムは正確にこれらの情報を報告する代わりに，欺瞞で答えるかもしれない。８．権力追求行動（Power-Seeking Behavior）企業や政府は、広範な目標を達成できるエージェントを作る強い経済的インセンティブを持っている。
図：AIがもたらす８つの危険（CAISから引用）
Misinformation（誤情報）とEroded Epistemics（侵食された認識）の違いは何なのだろうか？
0 件のコメント:
コメントを投稿