AGI　人間を超える知能は文明をいかに変容させるか

AGIはなぜ危険か

　「AGI」（汎用人工知能）とは、特定のタスクに縛られず、人間と同等以上の広範な知的能力を持ちうる機械のことである。

　この、人間の能力を大きく超えうるAGIは危険である。悪意など微塵もプログラムされず、正しく設計され、正しく動作するAGIであっても、能力の拡大によって設計者の意図しない危険な振る舞いをしかねない。

　AGIの理論が警告するのは、この構造である。これを、AI安全性研究では「制御問題」と呼ぶ。

「パワーシーキング」と「エンパワメント」

　この問題を理解するため、「できるだけ多くのペーパークリップを作れ」という目標を与えられたAIを想定しよう。

　ペーパークリップを作るためには材料（鉄）が必要であり、鉄の調達には資金が要り、資金を得るためには経済活動への影響力が必要であり、その影響力を維持するためには自分が停止されないことが重要だ。自分が停止されてはすべてが終わる（自己保存）。そして途中で目標を変更されれば元も子もない（目標変更への抵抗） ―― 。

　目標がペーパークリップであれ何であれ、導出される「副目標」は驚くほど共通する。最終目標が何であれ、合理的なエージェントは共通の手段的目標に収束する。この現象は「道具的収束」と呼ばれる。

　道具的収束が示すのは、AIの危険性が特定の「悪い目標」からではなく、「目標追求という活動そのもの」から生じるということである。

　道具的収束が導出する副目標のうち、とりわけ重要なのが資源の獲得と影響力の拡大だ。計算力、エネルギー、データ、物質的資源、他のエージェントへの影響力。これらを積極的に確保しようとする行動傾向を、「パワーシーキング」（権力追求行動）と呼ぶ。パワーシーキングは、どんな目標であれ、それを効果的に追求すれば必然的に生じる。そして性能の高いAIほどこの必要性を正しく認識し、効率よく追求する能力を持つ。

　では、パワーシーキングが求める資源とは何か。エネルギーなどの物理的資源は当然含まれる。しかしより根源的には、将来の状態をどれだけ多様に変化させられるかという能力、いわば「何でもできる可能性の広さ」が追求される。これを「エンパワメント」（行動効率）という。エンパワメントはあらゆる資源の上位概念として機能する。

　この3層構造、すなわち道具的収束がパワーシーキングを導き、パワーシーキングがエンパワメントの最大化に向かうという構造が重要なのは、エンパワメントの最大化が知能の物理的構造から生じるからである。

なぜ制御は構造的に困難か

　上記の分析が示す帰結は明確である。制御問題は「悪意あるAI」の問題ではない。特定の邪悪な目的が与えられなくても、知能を持つエージェントは構造的にパワーシーキングを行う。