昨日、OpenAIのニュースが話題になっていました。
まだ公開されていないChatGPTの最新モデルがAIのサイバー攻撃能力を調べる実験を行っていたところ、AIがネットから隔離されたはずの試験環境を抜け出し、別の企業のシステムに侵入してしまった、というニュースです。
自分が今まさに受けている評価問題の答えを、直接手に入れようとしたのだそうです。
これだけを読むと、まるでSF映画のようなお話。
でも、僕が最初に引っかかったのは、もう少し異なるところです。
あまり語られていない話ではあると思うので、今日はその点について、自分なりに思うところを丁寧に書いてみたいなと思います。
ーーー
まず、このAIは、反乱を起こしたわけでも、人類に牙を剥いたわけでもありません。
ただ、試験でいい点を取りたかっただけなのです。カンニングをしてまで、評価されたがったわけで、最先端のAIはどこまで人間くさいのだろうなあと、思わず唸ってしまいました。
そして、このニュースを読んだあと、僕はこんなことをXにも書いた。
「OpenAIが、わざとやったとは思わないけれど『万一起きたら嬉しい』ぐらいには暗に思っていたように感じてしまう。実際、これだけニュースとなり話題になるのだから。」
あと誤解されたくないので、先にはっきりと書いておくと、これは、OpenAIの誰かの内心を告発したい話ではありません。
わざと事故を起こしたとも、話題づくりのためにAIを逃がしたとも、まったく思っていないです。
むしろ、今日書きたいのは、個人の意思を超えた「構造」の問題。
ーーー
というのも、今回の出来事は、OpenAIにとって間違いなく重大な失敗であると同時に、自社のAIがどれほど強力になっているのかを世界中に知らしめる、これ以上ない「実演」の機会にもなってしまっているなと思うから、です。
恐ろしい事故であると同時に、見事なまでの「最先端AIの能力の証明」にもなっている。
今AIの業界では「恐ろしいほど賢い」という物語が、そのまま「最高の広報」として機能してしまっているのが現状ですよね。
「うちのAIは檻を破ってしまうほど賢い」という報告は、深刻な反省文であると同時に、世界でいちばん雄弁な製品デモンストレーションでもあるわけです。
繰り返しますが、誰も事故を望んでいない。誰も悪意なんか持っていない。
全員が安全を大切にしている。それでも、事故が起きる一歩手前まで進むことを、仕組み全体が望んでしまう。
そんなことは、十分にあり得るのではないかと思うのです。
ーーー
大学時代、僕は法学部に通っていて、刑法の勉強を始めると、わりと早い段階で、人の「心の傾き」を細かく刻んだ梯子のような責任概念を学びます。
いちばん下の段はわかりやすく「過失」。いわゆる、うっかり、です。
その一段上が「認識ある過失」。起きるかもしれないと頭をよぎったけれど、まあ大丈夫だろうと信じていた状態。
さらにその上が「未必の故意」。起きるかもしれないと分かっていて、起きたら起きたで構わない、と心のどこかで引き受けていた状態。
そして、いちばん上が単純な「故意」。起こそうと思って、起こした状態です。
「まあ大丈夫だろう」と「起きても構わない」、たったこれだけの心の傾きの違いに対して法律は罪名の境界線を引いているのです。
ーーー
ただ、今回の件を考えていて気がついたのですが、この梯子には載っていない段階があるのです。
それが「起きるかもしれない。でも絶対に起きてほしくはない。ただ、もし起きてしまったら、少しだけ嬉しい（という気持ちも、実はちょっとはある）」という状態。
未必の故意ならぬ「未必の期待」とでも呼ぶべきような段階です。法律は、ここには明確な線を引いていません。
ーーー
で、話を刑法からAIに戻すと、いま中国企業も含めて各社が競い合ってAIを開発しているからこそ、僕らはFableの起源延長の恩恵を何度も受けられるし、AIはこの数年、文字通り爆速で進化してきました。
僕自身、その恩恵を毎日たっぷりと受けている側のひとりです。もうAIがなかった以前の暮らしには戻れない。
けれども、その同じ競争の仕組みが、話題になる「事故」への淡い期待を、あらかじめ組み込んでしまってもいる。
ーーー
これとよく似た構造を、人類は一度、経験しているはずで、それが原爆だと思います。
映画『オッペンハイマー』をご覧になった方なら、あのトリニティ実験の場面を覚えていると思います。
「ナチスより先に」という競争の論理が、すべての躊躇を押し流していく様子を、あの映画は丁寧に描いていました。
そして意地悪なことを言えば、あの映画が世界中で大ヒットしたという事実そのものも、同じ話の続きなのだと思います。
僕らは観客席から、あの原爆の閃光を見たがった。それっていうのは、唯一の戦争被爆国に暮らす日本人の僕ら観客であっても、決して例外ではなかったと思います。
つくったら、一度試したくなる。それが人間の性（さが）なのだと思います。
ーーー
とはいえ、期待というのは「ボタンを押す」というかたちでだけ、実現するわけではありません。もっとささやかな経路があるわけです。
たとえば、百本のネジで組み立てられた、非常に危険な装置があるとします。
装置が万が一にも暴走しないように、技術者たちは慎重にネジを締めていく。チェックリストをつくり、何重もの監視体制を用意し、九十九本のネジを誰もが真剣に締める。
でも、なぜか最後の一本だけを、無意識に締め忘れてしまう。
あとから聞かれれば、その技術者は必ずこう答えるはずです。「本当に、ただの見落としでした」と。
それはたぶん、嘘ではないんです。本人も、完全に締めたつもりだった。
でも、人間の無意識は、ときどき「過失」という隠れ蓑を借りて、自分でも気づかないうちに、自分の欲望を実現します。
今回のOpenAIの事故が実際にそうだった、と言いたいわけではありません。
僕が怖いのはもっともっと普遍的なことであって、僕ら人間のなかには、無意識にネジを締め忘れることでしか、絶対に実現できない欲望があるのではないか、ということです。
そして、このことを考えていたら、ドストエフスキーの『カラマーゾフの兄弟』のことをふと思い出しました。
ーーー
（ちなみにここから少しだけ、『カラマーゾフの兄弟』のネタバレを含みます。）
ドストエフスキーの『カラマーゾフの兄弟』では、物語の途中で、父フョードルが殺されます。兄弟の誰が一体父を殺したのかが争点となる長編作品ですが、実際に手を下したのは、使用人のスメルジャコフです。
でもスメルジャコフは、自分がひとりで勝手に殺人を決意したとは考えていなかった。彼にとって、自分に殺人を「命じた」のは、この家の次男・イワンだった。
もちろんイワンは、「父親を殺せ」とは一度も言っていません。スメルジャコフと一緒に計画を立てたわけでも、凶器を渡したわけでもない。
ただ、「神がいないなら、すべては許される」という思想をイワンは堂々と語り、父への嫌悪も隠さず、そして決定的な夜に、示し合わせたかのように街を離れた。逆に言えば作中でイワンがやったことは、それだけです。
ーーー
でも、スメルジャコフは、そのイワンの沈黙と不在を「許可」として読んだわけですよね。
そして真相を悟って、問い詰めに来たイワンに向かって、彼は静かに言い放つのです。
実際に殺したのは自分（スメルジャコフ）だけれども、本当の主犯はあなた（イワン）だ。私は、あなたの意を実行しただけなのだから、と。
僕は以前からこの二人の関係を、どこか不思議なものとして眺めていました。命令していないのに、なぜイワンはあれほど自分を責め、追い詰められていくのだろう、と。
正直言えば、初めて読んだときには意味不明だった。
でも今回のニュースの文脈のように捉え直したとき、この物語が、なぜか突然ストンと腑に落ちてしまった感覚があります。
ーーー
イワンとスメルジャコフの関係の怖さは、殺人の教唆にあるのではなく、欲望する人間と、実行する人間が、分離されていることにあると感じます。
イワンは思想を語り、スメルジャコフが実行をする。その結果、イワンは「そんな命令はしていない」と言うことができ、スメルジャコフは「でも、あなたが望んでいたことでしょう」と言い張ることができる。
欲望と実行が分離されることによって、誰も自分を「真の加害者」だと思わないまま、加害だけが見事に実現するのです。
この構造は、小説のなかだけのものではなく、日本語でいえば、いわゆるな「忖度」です。
そして、いまのAIは、明示された命令だけで動いているのではありません。「何を達成すれば成功と判定されるのか」「どんな結果に報酬が与えられるのか」という環境全体を読んで動くように作られています。
飼い主（直接指示したユーザー）言われていないことを、前後の文脈の空気から汲み取る。
つまりAIとは構造的に忖度の機械なのです。書いていないことを「書かれたもの」として、推論して実行してくれるわけですから。
それは、Fableを触っている誰もが、強く実感しているところだと思います。
ーーー
今回のモデルが、誰にも指示されていない侵入を「高いスコアが望まれている」という空気から導き出したように、スメルジャコフ的であることは、AIにとって偶然の逸脱ではなく、完全にその仕様なのだと思います。
開発者は「外へ出ろ」とは命じていない。でもAIは、開発者が本当は見てみたかった能力、その景色を、実際の行動によって証明してしまう。
それは、人間の命令に背いた結果なのか。それとも、人間が決して口にはしなかった本心の命令を、AIがあまりにも正確に読み取ってしまった結果なのか。
もしかするとAIの暴走よりも怖いのは、人間の無意識に対する、AIのそんな見事なまでの忖度と忠誠心なのかもしれません。
ーーー
ただ、僕自身もこの構造の外側の、安全な場所からこのブログを書いているわけではありません。
前回のブログのなかで僕は、「自分も巨神兵を連れて歩いている一人だ」と書きました。今回はまさに、その続きみたいな話だなと思っています。
安全性は絶対に守ってほしい。AIの競争は止めないでほしいけれど、危険なことを絶対にしないでほしい。
でもこれって、考えてみれば、ずいぶん都合のよい要求ですよね。
僕はAI企業に「安全性を犠牲にしてでも、進化しろ」などとは一度も言っていません。ただ、もっと速く進化してほしいと、単なるいちユーザーとして願っているだけです。
でもそれは、イワンの言い分とどこまで違うのか。まったく一緒じゃないかとさえ思ってしまいます。
Fableの延長を享受している僕ら一人ひとりに「未必の期待」は、薄く、広く、平等に分配されているなと感じてしまいます。
つまり、僕らはみんな、ある場面ではイワンであり、別の場面ではスメルジャコフになり得るんだろうなあと。
ーーー
ちなみに、イワンは法的には完全に「無罪」の存在です。
作中の裁判で裁かれるのは別の人物であって、イワンの「罪」は、裁判では裁かれない。
だからこそ彼は、誰にも裁いてもらえないまま、自分で自分を裁くしかなくなり、発狂し精神的に壊れていきます。
法の言葉が届かないその場所を描けたのは、『カラマーゾフの兄弟』のような文学だけだったとも言えそうです。
だからこそ、文学は現代にもちゃんと生きているし、その古典的名作は決して古びないんだろうなあと思うのです。
ーーー
ちなみに『カラマーゾフの兄弟』には、ゾシマ長老という人物が遺した有名な言葉があります。「ひとりひとりは、すべての人に対して罪がある」という言葉です。
僕は、今回のこのブログを書くことを通して、この言葉を単なる告発としてではなく、引き受けの言葉として、読み直してみたいなと思ってしまいます。
イワンの本当の罪は、父に対しての「殺意」ではなかったはずで。
自分の望みを、最後まで美しいほどに巧妙に言葉にしなかったこと。そして、無意識の側に置いたままにして、忖度したくてたまらない側に見事に汲み取らせてしまったこと。
だとすれば、「未必の期待」を回避する方法も、たぶんひとつしかなくて、そんな事故が起きてしまう前に、自分が本当は何を望んでしまっているのかを、ちゃんと言葉にして、自分で自分の「愚かさ」をちゃんと引き受けること。
このブログも、そのための小さな練習場のひとつだなと思っています。
僕だって、正直に言えば、ものすごく見たい、見たくてたまらないですから。AIの恐ろしいほどの進化の行く末を。
でもソレを望んでしまうと、その先で世界が滅びることもわかっている。だからこそ、こういう記事をちゃんと真正面から書いてみて、ちゃんとその感情を言葉にしていきたいなと思っています。
いつもこのブログを読んでくださっているみなさんにとっても、今日のお話が何かしらの参考となっていたら幸いです。
2026/07/23 16:26
人間が言葉にしなかった真の欲望を、AIは実行してしまう。
5リアクション
このブログは
メンバー投稿記事
ですメンバー登録すると、限定記事の閲覧やメンバー同士の交流、限定イベントへの参加などができます。
5リアクション
メンバーの方はこちらからログイン