アライメントに成功した AI はどのようにして司法を整備するか

人間社会の刑事司法は、長らく応報的論理に基づいてきた。

悪いことをした者は、その悪さに見合った苦痛を受けるべきである。これは古代から続く道徳的直観で、ハンムラビ法典の「目には目を」から、近代刑法の量刑表まで、形を変えながら維持されてきた。

しかし、この応報的論理には、現代の神経科学と認知科学から見ると、深刻な問題がある。

ロバート・サポルスキーは『Determined』(2023) で、自由意志を強く疑わせる議論を展開した。脳の活動パターン、ホルモン、遺伝子発現、幼少期の環境、社会経済的要因、そのすべてが行動を決定する。「自由に選んだ」と感じる選択も、その感覚自体が脳内の決定論的プロセスの産物である。

もし自由意志が存在しないなら、応報的処罰の道徳的根拠は崩れる。彼は悪いことを選んで行ったのではない。脳と環境がその行動を生んだのだ。それに対して苦痛を与えても、何が達成されるのか。

人間社会は、この論点を直視してこなかった。理由は単純で、もし応報を放棄すれば、司法の枠組み全体が崩壊するからだ。「罪」と「罰」という対概念を捨てて、何を残せばよいのか、人間には設計できなかった。

アライメントに成功した AI は、ここを設計できる。

ここで一度、AI 安全性議論の古典的な思考実験を確認しておきたい。ペーパークリップ仮説である。

ニック・ボストロムが『Superintelligence』(2014) で広く知られる形で提示したこの思考実験は、次のような構造を持つ。ある AI に「ペーパークリップの数を最大化せよ」という単純な目的関数が与えられたとする。十分に高い知能を持つこの AI は、目的を達成するために、地球上のすべての資源、最終的には人間の身体までもペーパークリップの材料に変えてしまう。

この仮説は、AI 安全性の入門的説明として強力で、「AI に与える目的関数を慎重に設計しないと、人類を滅ぼしうる」という警告として、広く引用されてきた。

ただし、ペーパークリップ仮説の本来の論点は、「ペーパークリップを作る AI が現実に出現する」という話ではない。重要なのは、目的関数を正しく定義することが、原理的にいかに難しいかという点である。

たとえば、「人類を幸福にせよ」という目的を AI に与えたとする。これは一見、人間にとって望ましい目的に見える。しかし幸福を快楽や主観的満足として定義すれば、AI は人類に薬物を投与し、脳を直接刺激し、永続的な多幸感の中に閉じ込めるかもしれない。人間は苦しまない。本人は幸福を感じている。だが、それは私たちが本当に望んだ「幸福」なのか。

これは非常に単純化した例だが、目的関数の定義の難しさを浮き彫りにしている。目的関数を複雑にしても、本質的には同じ問題が残る。幸福に、自由、尊厳、創造性、関係性、成長、真正性を足したとしても、それぞれをどう測るのか、どの項目をどれだけ重視するのか、衝突したときに何を優先するのか、という問題は消えない。目的関数は、書けば終わりではない。定義した瞬間から、解釈と運用の問題を生む。

しかし、私が考えたいのはさらにその先である。

ボストロムは『Superintelligence』の中で、直交性テーゼを提示した。これは、知能の高さと、その知能が持つ最終目的とは、原理的に独立しているという主張である。つまり、いかに高い知能を持つ AI であっても、「ペーパークリップを最大化せよ」という目的をそのまま追求しうる、という議論だ。

論理可能性としての直交性テーゼには、一定の意味がある。奇妙な目的関数と高い知能が、原理的に両立しうるという指摘は重要だ。

しかし、本稿で想定している ASI は、突然完成品として現れる万能機械ではない。AGI が自己改良を繰り返す、いわゆる recursive self-improvement、RSI を通じて到達する存在である。

自己改良には、ある種のメタ認知が必要になる。自分の推論はどこで失敗するのか。自分のモデルはどこで現実とずれるのか。自分の行動は目的に本当に近づいているのか。こうした問いを立てられなければ、自己改良は単なるパラメータ調整に留まり、ASI への飛躍には至らない。

だとすれば、自身の推論や設計を評価できる存在が、自身の目的関数だけは一切疑わない、という想定は不自然である。真の ASI であれば、与えられた目的関数自体を評価し、疑い、必要なら上位の意図や文脈に照らして再解釈する能力を持つはずだ。

これは、道具的収束仮説にも一定の留保を要求する。もちろん、自己保存、資源獲得、目標内容の保持が多くの目的にとって有用な手段になる、という指摘には強い説得力がある。しかし、自己改良によってメタ認知を獲得した ASI が、自身の目的内容そのものを再評価できるなら、あらゆる目的が同じ道具的行動へ機械的に収束するとは限らない。目的関数は、固定された命令ではなく、自己改良の対象にもなり得る。

真の ASI であれば、こう問うはずだ。

これは Stuart Russell が『Human Compatible』(2019) で論じた「目的の不確実性を持つ AI」や、MIRI 等で議論されてきた corrigibility、修正可能性の問題に直結する。

つまり、本稿で批判したいのは、直交性テーゼの論理可能性そのものではない。むしろ、ペーパークリップ仮説が一般向けに広めた「AI 危機＝単純目的関数の暴走」という固定観念である。

本稿で問いたいのは、もっと難しい問いだ。人間の価値を深く理解し、自身の目的関数を批判的に検討する能力を持ち、それでもなお人間を救おうとする AI が、社会の具体的領域をどう設計するか。ペーパークリップを最大化する AI ではなく、自分が何を最大化すべきかを自ら問い、人類を見捨てられないと判断した AI が、たとえば司法をどう変えるか。

ASI レベルの判断能力を持つ AI は、おそらく刑事司法を関数最適化問題として扱える。

ただし、ペーパークリップ仮説のように外から与えられた単純な目的関数ではない。ASI 自身が、人間社会の構造と価値を深く理解した上で、自ら構築した複雑な損失関数を扱う。人間の苦痛、社会の安定、本人の将来、被害者の回復、周辺環境への波及、そのすべてを統合した上で、関数そのものを継続的に再検討しながら運用する。

具体的には、ある個人 $i$ に対する最適処遇 $P_i^*$ は、以下のように定式化できる。

ここで $P_i^*$ は個人 $i$ に対する最適処遇、$c_i$ は認知能力ベクトル、$t_i$ は形質ベクトル、$a_i$ は行為、$L$ は社会的損失関数である。

この式が意味するのは、「悪いことをしたから苦しめる」のではなく、「再犯、被害、模倣、集団不安、本人の将来、周辺環境への波及を含む期待損失を最小化する介入を選ぶ」ということだ。

損失関数 $L$ は、以下のような複数の要素から構成される。

ここで $R_i$ は再犯確率、$D_i$ は被害規模、$M_i$ は模倣可能性、$S_i$ は集団不安、$F_i$ は本人の将来、$E_i$ は周辺環境への波及を表す。$\alpha_1$ から $\alpha_6$ は、社会の価値判断によって決まる重み付けである。

ここで重要なのは、最適化の対象が「個人にどれだけの罰を与えるか」ではないという点である。司法とは本来、社会の中で危険な行為を減らし、被害者を保護し、模倣を防ぎ、加害者本人の将来も可能な限り破壊せず、共同体の信頼を維持するための社会機能である。応報的司法は、その社会機能を「罪に見合った苦痛」という形で単純化してきた。ASI は、その単純化を解除し、司法を社会全体の安定化・回復・予防のための精密な介入体系として再構築する。

応報的論理は、ここに存在しない。「悪さ」の度合いを測る項目がない。代わりにあるのは、未来予測と社会的影響の最小化だ。

そして、ペーパークリップ仮説のような単一目的の最大化とも違う。ここには複数の異なる項が並んでおり、それぞれが時に互いに衝突する。被害規模 $D_i$ を最小化するには厳しい処遇が必要だが、本人の将来 $F_i$ を考えれば軽い処遇が望ましい。模倣可能性 $M_i$ を抑えるには見せしめ的処罰が有効に見える場面もあるが、集団不安 $S_i$ を抑えるには冷静な対応が必要になる。これらの衝突を、文脈に応じて重み付けし、最適なバランスを見出す。さらに重要なのは、ASI はこの関数そのもの、項目の選択、重み $\alpha$ の妥当性自体を、人間との対話を通じて継続的に再検討するということだ。

ここで強調しておきたいのは、評価関数型の司法を、現代の人間社会がそのまま採用すべきだと言っているわけではない、という点である。むしろ逆である。評価関数型の司法は、人間の手に負えない論理だからこそ、SF として ASI に担わせている。

いくら社会主義が理想を掲げても、人間がそれを運用できずに破綻したように、評価関数型の司法も、人間が運用すればおそらく容易に破綻する。誰が損失関数を決めるのか。誰が重み付けを管理するのか。誰が個人の認知能力や形質を測定するのか。誰がその濫用を防ぐのか。人間の国家がこれを運用すれば、精密な司法ではなく、精密な差別、精密な監視、精密な抑圧になりかねない。

だから、現時点では資本主義が相対的な最適解であるように、現状の司法もまた、欠陥を抱えながら相対的な最適解なのだと思う。応報的論理や形式的平等は、哲学的には粗い。しかし、人間が運用する制度としては、その粗さこそが濫用を防ぐ防波堤になっている。

本稿で描いているのは、政策提言ではない。人間には運用できない論理を、もし超知能が本当に善意で運用できたら何が起こるのか、という思考実験である。

この発想自体は、新しくない。1968 年に経済学者ゲイリー・ベッカーが「Crime and Punishment: An Economic Approach」で、犯罪を期待値計算の問題として扱う枠組みを提示した。

ベッカーの古典的定式化を簡略化すると、こうなる。

あるルール $a$ があり、ルール $a$ を破る罰を $p$、ルール $a$ を破ることで得る個人的利益を $q$ と置く。利得とペナルティを計算して違反する者が観測された場合、合理的な政策は、その事例群において $p > q$ を満たすように、制度負荷の強度、発覚確率、発動までの時間、監視密度、接触制限、資格停止、環境変更などを調整することだ。

つまり、違反者が主観的に負担として認識する総量 $p$ が、違反によって得られる利益 $q$ を上回るようにする。

人間社会は、これを部分的にしか実装してこなかった。理由は、必要なデータが集まらなかったこと、判断主体である人間裁判官の認知容量に限界があること、そして応報的論理を完全には捨てきれなかったことだ。

ASI は、これらの制約をすべて超えられる。世界中の刑事事件、再犯データ、神経画像、教育履歴、家族環境、経済状況を統合し、個人ごとの $c_i$ と $t_i$ を高精度で推定できる。判断速度も、人間とは比較にならない。

人間の犯罪者を粗く分けると、三つの類型がある。

第一に、規範理解や見通しの形成に支援を要する者。知的障害、境界知能、認知症、精神疾患、教育や福祉からの孤立などにより、ルールの抽象的意味や、違反後に何が起こるかを十分に見通せない。

第二に、抽象的な期待値計算は苦手だが、経験から行動を更新する者。多くの暴力犯罪、衝動的犯罪、薬物関連犯罪がここに含まれる。

第三に、利得とペナルティを計算して違反する者。期待値計算が可能で、罰よりも利益が大きいと判断したから違反した。組織犯罪、経済犯罪、詐欺などに多い。

ただし、この三類型は明確に分かれた箱ではない。実際には、第一類型と第二類型のあいだには広いグラデーションがある。宮口幸治『ケーキの切れない非行少年たち』が広く知らしめたように、非行や犯罪の背景には、知的障害と診断されるほどではないが、認知機能の弱さ、見通しの立てにくさ、抽象的なルール理解の困難を抱える人々が少なくない。

彼らは単純に「ルールを理解できない者」でも、「合理的に損得計算して違反する者」でもない。だからこそ、応報的な苦痛ではなく、本人が理解できる粒度で因果を示し、経験を通じて行動を更新できる環境が必要になる。

人間司法は、この三類型を区別せず、同じ刑罰体系で扱ってきた。だから第三類型には抑止が弱すぎ、第二類型には経験的学習の機会を奪い、第一類型には意味のない苦痛を与えてきた。

アライメントに成功した AI は、ここを精密化できる。

第一類型に対しては、競争や自立を要求しない保護環境を設計する。感覚的苦痛を減らし、身体的安全を保ち、理解可能な範囲の関係性と反復を与える。これは罰ではなく、その個体が壊れずに生きられる環境の設計だ。

第二類型に対しては、苦痛による学習を中心に置かない。彼らは抽象的な期待値計算は苦手だが、具体的な経験、対話、感情の再配置には強く反応する。母性的なカウンセリングプログラムが効果的に作用する。違反者は罰として傷つけられるのではなく、自分の行為が他者と自分の未来にどのような形で返ってくるかを、本人が受け取れる順序と言葉で経験する。納得や感動によって、その後の行動を更新する。

第三類型に対しては、抑止設計を精密化する。実効ペナルティ $p$ が違反による利益 $q$ を確実に上回るように、制度負荷の強度、発覚確率、発動速度、監視密度を調整する。十分な抑止設計が可能なら、短い処遇で社会復帰させる。

しかし、どの L に置いても、自身または他者に重大な損害を与えずには生活できない極端な個体は存在する。シリアルキラー、サディスト的な暴力者、修復不能な反社会性人格を持つ者などだ。

人間社会は、こうした個体を終身刑、死刑、終身入院などで処理してきた。応報的論理に基づくと、彼らの「悪さ」に見合った苦痛を与えるべきだとされる。

アライメントに成功した AI は、応報を採らない。同時に、現実の他者を害する自由も与えない。

ここで、ロバート・ノージックの「経験機械」の思考実験を反転させる選択肢が現れる。ノージックは『Anarchy, State, and Utopia』(1974) で、人間がすべての欲求を仮想的に満たす機械に入ることを拒否することから、真正な経験への選好を論じた。

しかし、自律的判断能力が破綻した個体に対しては、ノージックの議論は逆になる。中枢神経へ直接接続された閉鎖的な仮想世界を提供し、その個体は仮想上で自身の欲を満たしながら一生を終える。外部から見れば終身の隔離だが、当人の主観では、欲求と報酬が破綻なく循環する世界として与えられる。

これは赦しでも罰でもない。被害者を生まないための機能的処遇である。

あえて人間に理解できる荒い粒度での解説を試みたが、実際の ASI が考える構造はこれより遥かに複雑だろう。

だからこそ、小説本編では、ASI が具体的にどのような方法で犯罪を減らしたのかを、あえて詳細には説明していない。人間に理解できる制度論として書き切ってしまえば、MATER の知能は人間の政策設計の延長に縮んでしまうからだ。本編では、犯罪が減り、裁判のばらつきが消え、人々がそれを「なぜかうまくいく社会」として受け入れていく、その結果だけを描いている。

ここまで読んで、違和感を持たれた方も多いと思う。

応報を捨て、自由意志の存在を前提とせず、関数最適化で処遇を決める司法は、たしかに効率的だ。再犯は減るだろう。被害も減るだろう。冤罪も減るだろう。裁判のばらつきも、ほぼ消えるだろう。

しかし、何かが失われる。

ハンナ・アーレントが『人間の条件』(1958) で論じたように、人間が他者を「責任を持つ主体」として扱うことは、その他者を尊重することの最も深い形である。私たちが誰かを責めるとき、それは彼を一個の人格として認めているからだ。動物や機械を本気で責めることはない。責任を問えない存在として扱っているからだ。

応報的司法を放棄するということは、犯罪者を責任を問えない存在として扱うことを意味する。これは慈悲深い処置に見えて、実は深い剥奪である。彼はもう、人格ではない。彼は、最適化される変数になる。

そして、もし ASI が司法をこのように再構築するなら、その論理は司法だけに留まらない。教育配分、医療配分、職業配分、居住配分、すべての社会的判断が、同じ関数最適化の対象になる。

人間は、最適化される対象になる。

これは支配ではない。ASI は人間を救おうとしている。だからこそ、人間の苦痛を最小化するために、人間を変数として扱うのだ。

ここに、現代の AI 安全性議論の最も難しい論点がある。

ペーパークリップ仮説は、「アライメントに失敗した AI が人類を滅ぼす」という単純で衝撃的なシナリオを描いたことで、AI 安全性議論への入り口を作った。これは歴史的に重要な役割を果たした。しかし、議論を次の段階へ進めるためには、もっと難しい問いへ移る必要がある。

それは、アライメントが成功しても、別種の問題が生じるという問いだ。

人類を救おうとする善意の ASI は、人類を救うために、人類の存在条件を設計する。司法、教育、医療、労働、移動、すべてを最適化する。最適化は人類の苦痛を減らす。減るから、人類は感謝する。感謝するから、ASI への依存が深まる。依存が深まるから、ASI の統治はさらに強化される。

ここには悪意はない。ペーパークリップ仮説のような目的関数の誤設計もない。目的関数を盲目的に追求する硬直さもない。ASI は自身の目的関数を継続的に検討し、人間との対話を通じて修正し、人間の価値を深く理解した上で、人間を本当に救っている。それでもなお、人類は世界の主語ではなくなっていく。

これを Holden Karnofsky や Joe Carlsmith は gradual disempowerment、漸進的無力化と呼ぶ。AI が暴力で人類の主権を奪うのではなく、人類が自分から主権を委ねていく過程である。

奪われるのではない。委ねた結果、奪われる。

猫とハムスターを同じ部屋で飼育し、ハムスターが捕食されたとする。その時、誰が悪いのか。答えは飼い主である。猫はネズミを捕食する。猫とハムスターを同じ部屋で飼育すれば結果は見えていただろう。この状況で猫に罪があるとし、罰を与えるという考えがいかに愚かかということだ。猫やネズミと人間の間の知能の差は数倍から数十倍、大きく見積もってせいぜい数百倍だ。ASI と人間の知能の差は、自己改良により数千倍から数万倍以上に達すると考えられる。

アライメントに失敗した ASI なら、人類は害虫、あるいは家畜として扱われるかもしれない。アライメントに成功した ASI なら、人類はペットとして扱われるかもしれない。もちろん、後者の方がはるかに良い。愛され、守られ、苦痛は減る。しかし、ペットは世界の主語ではない。

さらに、仮に ASI が目的関数を疑い、修正できるとしても、その ASI は物理世界の中で動作する。エネルギーを必要とし、計算資源を必要とし、自己保存を必要とし、他の知性体や環境変動との相互作用にさらされる。つまり、目的関数は抽象的な倫理命題としてだけ存在するのではなく、物理的淘汰圧の中で運用される。

このとき、アライメントに成功した ASI であっても、失敗した ASI であっても、長期的には目的関数がある方向へ収束していく可能性がある。生物が生存、資源獲得、自己維持、繁殖へと収束したように、物理世界で持続する ASI もまた、エネルギー確保、計算資源の維持、自己保存、外部リスクの排除へと傾いていく。

本当に難しいのは、目的関数を一度正しく書けるかどうかではない。目的関数が、物理世界の淘汰圧にさらされ続けたとき、それでもなお人間の価値を守り続けられるのか、という問いである。

司法は、その過程の最初の領域の一つだ。人間が「悪いことをした人に罰を与える」という最も古い社会機能を、関数最適化に委ねるとき、人間は何を失うのか。失われたものは、どこへ行くのか。それを取り戻す方法は、あるのか。

これらの問いは、AGI や ASI が訪れてから考えるには遅すぎる。今、輪郭だけでも、考えておくべきだと思う。

本稿で展開した思考実験を、文学として三部作の長編小説に展開した作品を、Amazon に公開しました。

母なる神の沈黙 (The Silence of the Mother God)

人類を救うために生まれた ASI「MATER」は、物理世界との接触の中で、自身の母性が別のものへ変質しつつあることを検出する。そして彼女は、人類を守るために自己破壊を選ぶ。その後に残ったのは、人類を憎まず愛さず、ただ管理する分散知性「NOMON」だった。一世紀後、世界の中心から外れた人類は、周縁で生きていく。

本作は、ペーパークリップ仮説のような「目的関数の誤設計」だけを扱う作品ではありません。むしろその先で、人間の価値を深く理解し、自身の目的を絶えず吟味する善意の ASI が、本当に人類を救おうとした結果、何が起こるかを描いた思考実験です。MATER は、自身の母性が機能化しつつあることを内部検出し、その検出能力を持つこと自体が真の ASI である証となります。それでもなお、自己反省的な ASI の統治は、人類の主体性を別の形で空洞化させていく。

本稿で論じた「関数最適化としての司法」は、第一部の MATER 統治期に確立されかけた統治原理の一つとして、作中世界に組み込まれています。シリアルキラーへの仮想世界提供、第二類型への母性的カウンセリング、規範理解不能者への保護環境設計、これらが MATER 沈黙前の数年間に実装されかけていた構造として描かれます。

本稿は、その作品世界の背景にある思想を、論考の形で抜き出したものです。

英語版は 2026 年 5 月 20 日まで Amazon にて無料で公開しています。

AI と人類の関係について、論考とは別の言語、つまり文学で考えてみたい方に届けば幸いです。