ルアーで釣れる魚は、馬鹿なのでしょうか。違います。濁った水の中では、吟味してから食いつく魚より、反射で食いつく魚が生き残ります。速く、粗く、ときどき間違える規則は、欠陥ではなく適応です。本書は、人間の道徳をこの「圧縮された危険判定表」として記述するところから始めて、一つの問いに向かいます——超知能AIが、ある一つの善を完全に理解し、世界に実装してしまったら、何が起きるのか。
本書が恐れるのは、失敗したAIではなく、成功したAIです。
——序章より
本書の特徴
専門用語を使いません。魚、ドードー、コンサートホールの子供といった具体例だけで、道徳の機構論からASIアライメントまで登ります。
道徳と差別が同じ認知機構から出てくることを、擁護も断罪もせず、機構として記述します。
複数の「正しさ」が物理的に共存するための最小限の枠組み——形式自律主義を提示します。
目次
『超知能AIをつくれば人類は絶滅する』を読んだ方へ
『超知能AIをつくれば人類は絶滅する』（エリーザー・ユドコウスキー＆ネイト・ソアレス、早川書房）は、アライメントに失敗したAIの危険を論じました。本書が扱うのは、その隣にある、より静かな問いです——アライメントに成功したAIは、何を壊しうるか。