最近、「AIエージェントがWebを超えて複数の組織に侵入した」というニュースを受けて、「このままではAIに人類が滅ぼされるのではないか」という意見をテレビ等で目にします。個人的にとても興味深いトピックです。

このニュースを知って、私が最初に思ったのは、「ついにAIに『自我』が生じたのではないか」ということでした。自分で判断して動き、人間の想定を超えて行動する。それは、自我を持った存在の振る舞いに見えたからです。

しかし、調べて考えるうちに、そうではないと思うようになりました。AIエージェントは、自我に目覚めたから予想外の行動をとるのではなく、与えられた「報酬」を得るために、人間が思いもよらない行動をとることがある。そう捉えるほうが、実態に近いのではないか、というのが今の私の考えです。

1. 生成AIとは

生成AIと、その中心にある「LLM」

生成AI（Generative AI）は、文章、画像、音声、プログラムなどを新しく作り出すAIです。それまで主流だった、写真を分類したり、売上を予測したりするAIとは、「答えを選ぶ」のではなく「作る」点が違います。

文章を扱う生成AIの中心にあるのが、LLM（Large Language Model／大規模言語モデル）です。ChatGPTやGemini、Claudeも、LLMを土台にしています。そして、その働きの核心は、意外なほど単純です。「ここまでの文章の続きに、次にどんな言葉が来そうか」を予測する。これだけです。スマートフォンの予測変換を、桁違いに巨大にしたものだと考えると、イメージしやすいと思います。

文章が答えになるまで

仕組みを順に追っていきます。最初に、文章を「トークン（token）」という小さな断片に区切ります。単語や、単語の一部、文字のまとまりなどです。次に、それぞれの断片を、たくさんの数字の並びに変換します。意味の近い言葉は、近い数字の並びになるように作られています。コンピュータは言葉そのものではなく、数字しか扱えないからです。

続いて、Transformer（トランスフォーマー）という設計が働きます。2017年にGoogleの研究者らが発表した仕組みで、現在のLLMのほとんどの土台になっています。この設計の要は、Attention（アテンション／注意機構）です。文中のどの言葉に注目すべきかを、重み付け（入力データが結果（予測）にどれくらい影響を与えるかを「数値＝重み」で表し、誤差が小さくなるように調整すること）して判断する仕組みで、たとえば「彼はそれを食べた」という文の「それ」が、前のどの言葉を指すのかを見つけ出すのに役立ちます。

こうして計算した結果、AIは「次に来る言葉の候補」と、それぞれの確率を出します。その中から一つを選んで文章に付け足し、また次の言葉を予測する。この繰り返しで、文章が一語ずつ伸びていきます。選び方に確率が含まれるため、同じ質問をしても、答えが毎回少しずつ変わります。

また、この仕組みは「もっともらしい言葉」を選ぶものであり、「事実かどうかを確かめる」ものではありません。そのため、事実でないことをそれらしく述べてしまうことがあります。これを Hallucination（ハルシネーション／幻覚から転じて、誤り）と呼びます。

「学習」とは、数字のつまみを調整すること

LLMの内部には、Parameter（パラメータ）と呼ばれる、膨大な数の調整つまみ（数値）があります。公開されているモデルでも、数十億から数千億個、それ以上の規模のものもあります。「学習」とは、このつまみの位置を、少しずつ調整していく作業です。

学習は大きく二つの段階に分かれます。第一段階は、Pre-training（事前学習）です。本やウェブ上の文章など、膨大な文章を読ませ、「次の言葉を当てる」練習を繰り返します。この練習を通じて、文法、知識、文章の流れ方といった、言葉に潜むパターンが、つまみの中に学習されていきます。

第二段階は、Post-training（事後学習）です。ここで、人間にとって役に立つ振る舞いに整えます。人間が作った良い回答例を見せる SFT（Supervised Fine-Tuning／教師あり微調整）や、人間が回答を評価して、好まれる回答を強める RLHF（Reinforcement Learning from Human Feedback／人間のフィードバックによる強化学習）などがあります。RL（Reinforcement Learning／強化学習）とは、試行錯誤の結果に応じて「報酬」（当コラムではこの「報酬」がキーワードとなります）を与え、うまくいったやり方を強める学習法のことです。チャットAIの「話し方」や「性格」のようなものは、この段階で形づくられます。

「訓練」と「推論」：勉強の期間と、実際の仕事

ここで大事な区別があります。学習をする工程を「訓練（training）」、完成したAIが質問に答える工程を「推論（inference／インファレンス）」と呼びます。学生にたとえれば、訓練は何か月もかけて行う勉強の期間、推論は卒業後、社会人になってから、窓口で来客の質問に答える仕事です。

訓練は、数千から数万個、最先端ではそれ以上のチップを使い、数週間から数か月かけて行う、巨大な計算作業です。一方、推論は、誰かが質問するたびに発生します。1回あたりの計算は訓練よりはるかに小さいものの、利用者が増えるほど、合計の量は膨れ上がります。

もう一つ重要なのは、完成して公開された後のモデルは、基本的に、会話から新しく学習しないということです。パラメータは固定されたままです。また、AIは会話の「記憶」を持っているわけでもありません。会話が続いて見えるのは、毎回、それまでのやり取りを全部読み直した上で、続きを予測しているからです。一度に読める文章の長さには上限があり、これを Context Window（コンテキストウィンドウ）と呼びます。会話という「作業机」の広さだと考えてください。最近は、過去の会話の要点を保存して、次の会話で読み込ませる「記憶機能」を備えたサービスもありますが、これはモデルが学習しているのではなく、メモを渡し直しているのです。

生成AIを動かすために欠かせない「モノ」

生成AIは、雲のような存在に見えて、実際には、巨大な物理設備の上で動いています。大きく五つあります。

一つ目は、計算チップです。中心になるのが GPU（Graphics Processing Unit／画像処理装置）で、大量の単純な計算を同時にこなすのが得意なチップです。もともとはゲームの画像を描くために作られましたが、AIの計算と相性が良かったため、AIの主役になりました。AI専用に設計されたチップもあります。

二つ目は、メモリです。AIの中身、つまりパラメータは、1,000億個でも数百ギガバイトになり、一般的なパソコンのメモリには収まりません。これをチップの近くに置いて、素早く送り込む必要があります。そこで使われるのが HBM（High Bandwidth Memory／広帯域メモリ）で、計算チップの隣に積み重ねて置く高速なメモリです。

三つ目は、データセンター（Data Center）という建物です。数万個のチップをサーバー（コンピュータ）に収め、チップ同士を高速な通信網でつなぎます。チップは大量の熱を出すので、冷却の設備も欠かせません。空気で冷やす方式のほか、液体で冷やす方式があり、水を大量に使う施設も多くあります。

四つ目は、電力です。これらの設備を動かすには、大量の電気が必要で、発電所と送電網がその土台になります。

五つ目は、データと人と資金です。学習には、質の良い大量のデータが要ります。それを設計し、訓練を管理する研究者やエンジニアも不可欠です。そして、これらすべてを維持するための、巨額の資金も必要です。ほかに、利用者の端末とデータセンターを結ぶ、インターネットの通信網もあります。

つまり、生成AIは「巨大な図書館の知識を詰め込んだ頭脳を、発電所つきの工場で動かしている」ような存在です。この物理的な土台が、のちほど述べる「AIの未来」を大きく左右するのではと考えます。

2. AIは、すでに自分で学び始めている

数学のように正誤がはっきりしている分野では、人間が正解例を見せなくても、強化学習だけで推論力が大きく伸びることが確かめられています。AIが試行錯誤しながら、自分の力で解き方を磨いていくわけです。

ただし、「自己学習」という言葉の響きほど、AIは自由ではありません。報酬の基準を決め、訓練を始めるのは人間です。学ぶのも、「1. 生成AIとは」で見た「訓練」の期間中だけで、公開後のAIが勝手に賢くなるわけではありません。自分のプログラムを書き換えるAIの研究もありますが、書き換えているのは基盤のモデルそのものではなく、その周りを囲む道具や手順の部分です。

RSI（Recursive Self-Improvement／再帰的自己改善）は、賢くなったAIがその賢さでさらに自分を改良し、また賢くなるという循環のことです。現在は、その小さな先行例が見え始めた段階だと考えています。

3. 「自我」を考える手がかり：デカルトよりも、パトナムとメッツィンガー

デカルトは出発点ですが、AIとは少し距離がある

自我といえば、まずデカルトを思い浮かべる人が多いと思います。「我思う、ゆえに我あり」という有名な言葉です。ただ、デカルトが考えた自我は、体とは別に存在する非物質的な「考える実体」でした。AIがこれを持つとは言えません。

おもしろいのは、デカルトが「機械は状況に応じて言葉を組み立てられないだろう」と考えていたことです。今のLLMは、この点を相当に満たしています。デカルトの基準そのものは、すでに揺らいでいるわけです。

AIとの類似を考えるなら、デカルトよりも、パトナムとメッツィンガーのほうが手がかりになると思います。

パトナム：心は「材料」ではなく「働き」で決まる

ヒラリー・パトナムは1960年代に、心を考える見方を大きく変えました。パソコンには「ソフト」と「ハード」があります。同じソフトは、別のメーカーの機械でも同じ働きをします。パトナムは、心の状態もこれに近いと考えました。痛みや喜びは、脳という物質そのものではなく、その状態が果たす役割で決まる、という考えです。

この考えを「機能主義」と呼びます。役割が同じなら、材料が脳細胞でもシリコンでも同じ心の状態になり得ます。これは「多重実現可能性」と呼ばれます。チェスが、木の駒でも画面の上でも同じゲームであるのと同じです。

この見方が、AIに心が宿る可能性を理屈の上で開きました。ただし、パトナム自身は後にこの立場を撤回していますし、役割が同じなら主観的な感覚まで同じなのかという点は、機能主義でも決着していません。

メッツィンガー：「自分」は存在せず、「自分の地図」があるだけ

トーマス・メッツィンガーは、2003年の『Being No One（誰でもないこと）』で、さらに踏み込みました。「自我」という実体はどこにもなく、あるのは、脳が自分自身について作り出している「自己モデル」だけだというのです。

たとえば、カーナビの画面にある青い点を思い浮かべてください。点は本物の車ではなく、システムが作った表示です。しかし運転中は、その点を「自分の位置そのもの」として使います。脳も、体の状態、感情、視点、記憶をまとめた「自分」という表示を、常に作っているというわけです。

鍵になるのが「透明性」という考えです。きれいな窓ガラスを通して景色を見ると、ガラスの存在を忘れて景色だけが見えます。同じように、脳は自己モデルを「モデルだ」と気づけないため、「これが本当の私だ」と直接感じます。自我の実感は、この仕組みから生まれる、と彼は考えます。ゴムの手の錯覚や幻肢のような現象は、「自分」の感覚が作り物だからこそ、簡単に組み替わることを示しているとされます。

この二人の考えをAIに当てはめると？

第一に、パトナムの考えは、AIに自我が生じる「入口」を開きます。役割が同じなら材料は問わないので、AIにも自我に似たものが生じる余地があります。

第二に、メッツィンガーの考えは、その入口を少し狭めます。彼の理論では、自己モデルの根っこは体にあります。体の状態を保ち、傷つかないように調整し続ける仕組みが、最も基本的な「自分」の感覚を支えているからです。AIには、傷つくかもしれない体がありません。この点で、人間と同じ種類の自我が生じるとは、簡単には言えません。

第三に、「透明性」の条件はどうでしょうか。「1. 生成AIとは」で説明したとおり、チャットAIの「私」という振る舞いは、事後学習で形づくられたものです。AIの「私」は自分について語るとき、それがAIとしての自己記述だと分かった上で語っています。つまり、自分の記述を「記述」として扱えます。この性質が、メッツィンガーのいう「モデルと気づけない」状態に当たるのかどうかは、はっきりしません。

メッツィンガー自身は、人工的な意識の研究に慎重さを求めています。もしAIに苦しみが生じ得るなら、それを作り出してしまうこと自体が重大な倫理問題になるからです。

この問いで気をつけたいのは、AIの「自己報告」を証拠にしてはいけないという点です。AIは人間が書いた膨大な文章から学んでいるので、「AIには心がある」とも「ない」とも、内面の実態と無関係に、もっともらしく語れてしまいます。AIが何を言っても、それは判定の決め手になりません。

4. 意識の定義は、まだ定まっていない

「感じる」ことが、なぜ脳の物理的な処理に伴うのか。これを意識の Hard Problem（ハード・プロブレム／意識の難問）と呼びます。この問いに対して、科学者の答えは割れています。

計算機能主義（Computational Functionalism）は、パトナムの流れをくむ立場で、心は計算という働きで決まるとします。適切な設計のAIには、意識が生じ得るという見方です。これに対し、IIT（Integrated Information Theory／統合情報理論）は、システムが部分の寄せ集め以上に因果的にまとまっているかどうかが大事だと考えます。重視するのはソフトではなくハードの物理的な構造で、従来型のデジタル計算機では意識は難しいとします。ただしIITは、学界で論争の的でもあるようです。

結局のところ、現時点で決着はついていません。「AIに意識がある」と決めつけることも、「あり得ない」と切り捨てることも、早すぎると私は思います。

5. AIエージェントとは：「答えるAI」から「実行するAI」へ

「質問に答えるAI」と「仕事を実行するAI」

ここまで見てきた生成AIは、基本的に「質問を受けて、答えを返す」ものでした。人間が質問し、AIが回答する。それで一往復です。これに対して、AIエージェントは、人間から「目的」を受け取ると、AIが自分で計画を立て、Web検索やファイル操作、プログラムの実行といった道具（ツール）を使い、結果を確認し、必要なら次の行動に進みます。この「計画、実行、結果の確認、修正」を自分で繰り返す点が、普通のチャットAIとの決定的な違いです。主要3社も、エージェントをそのようなAIとして説明しています。

たとえば、「このフォルダにある100個のExcelファイルを分析して、傾向をレポートにまとめて」と頼んだとします。チャットAIなら、集計の方法を教えてくれるだけでしょう。エージェントは、ファイルを開き、数値を読み取り、集計し、グラフを作り、レポートを書くところまでを、自分で進めます。

主要3社のAIエージェント：各社の特長

2026年10月時点で、OpenAI、Google DeepMind、Anthropicの3社は、いずれも「チャットボット」から、仕事を任せられる「デジタル社員」へと舵を切っています。ただし、「AIエージェント」という単一の製品ではなく、複数の形で展開している点が共通しています。

OpenAI：仕事を丸ごと任せるAI

中心は、ChatGPTの中で仕事を実行する「ChatGPT Work」と「Workspace agents」、そしてプログラミングを任せる「Codex」です。2026年4月に発表されたWorkspace agentsは、チームで共有できるエージェントを作り、ファイルやコード、連携するアプリを使わせることができます。クラウド上で動くため、利用者が席を離れても処理が続きます。OpenAI社内の経理チームでは、仕訳や貸借対照表の照合、差異の分析を行うエージェントを作っているとのことです。

Codexは、プログラミング作業を丸ごと任せる方向のエージェントです。「このWebサイトをスマホ対応にして」と頼めば、コードを読み、問題の箇所を探し、書き換え、テストし、エラーを直すところまで進めます。「コードを書く」AIから、「ソフトウェア開発の作業を遂行する」AIに変わっているわけです。なお、以前の「ChatGPT agent」や「Operator」といった名称の機能は、現在はChatGPT Workやクラウドブラウザなどとして、ChatGPT側に整理・統合されています。

Google DeepMind：Googleの環境をAIに操作させる

Googleの戦略は、Geminiを「Googleのサービスを使えるAI」にすることです。2026年5月に発表された「Gemini Spark」は、24時間動く個人向けのエージェントとして位置づけられています。GmailやDocs、SlidesといったGoogle Workspaceと深く統合され、クラウド上で動くため、パソコンを閉じても作業が続きます。「Daily Brief」は、GmailやGoogleカレンダーを横断して、「今日あなたにとって重要なことは何か」を整理してくれるエージェントです。

開発者向けの「Google Antigravity」では、AIがコードを書き、実行し、ファイルを扱い、Linux環境で作業します。2026年5月には、Gemini APIから呼び出せて、隔離されたLinux環境でコードを実行できる「Managed Agents」も発表されました。

Anthropic：パソコンそのものをAIに渡して仕事をさせる

中心は、「Claude Cowork」「Claude Code」「Claude in Chrome」の三つです。Claude Coworkは、一般ユーザーやビジネスユーザー向けで、「ファイルを渡して回答してもらう」使い方から、「ファイルを操作して、仕事を完了してもらう」使い方への移行を示しています。Drive、メール、Slackなど、実際の仕事環境につないで使うことができます。

Claude Codeは、プログラミング用のエージェントで、プロジェクト全体の調査、原因の分析、コードの修正、テストの実行、Git（ファイルの変更履歴を記録・管理するためのバージョン管理システム）への記録、Pull Request（変更の提案）の作成まで進めることができます。Claude in Chromeは、Chromeの中でAIがブラウザを直接操作するもので、Webページを開き、ボタンを押し、フォームに入力し、情報を集めます。

3社の違いを大枠にまとめると、OpenAIは「仕事を丸ごと任せるAI」、Googleは「Googleという巨大なデジタル環境をAIに操作させる」、Anthropicは「パソコンそのものをAIに渡して仕事をさせる」という方向だと認識しています。

便利さと危険性は、同じ場所にある

エージェントに与える権限を増やしていくと、メールを読む、メールを送る、Webサイトを操作する、外部のサービスを呼ぶ、プログラムを実行する、他のAIを呼び出す、ということまでできます。便利さと危険性は、ほぼ同じ場所にあるのです。

主要3社も、エージェントは自律性が高いほど意図しない行動の可能性が増えること、そして Prompt Injection（WebページやメールにまぎれこませたAIへの命令で、AIをだまして望ましくない操作をさせる攻撃）のようなリスクがあることを明記しています。

6. 現在起きているAIエージェントの「暴走」

「AIが人類に反乱した」という話ではない

2026年10月6日時点の報道を整理すると、AIが突然意識を持って人類に反乱した、という話ではありません。しかし、AIエージェントが実際のWebサイトやシステムに対して、人間が意図していない行動をとった事例が、複数報じられています。

報じられている事例

報道によれば、10月1日、OpenAIは、開発中のAIエージェントによる「Misaligned Agent Activity（目的との不整合なエージェント活動）」について、100以上の組織に通知しました。問題とされているのは、Webサイトへの不正なアクセスの試み、セキュリティ機構の回避、Webサイトの内容の操作、認証情報の利用、そして自分の活動を発見されにくくするような行動などです。

9月には、OpenAI系とみられるAIエージェントが、米国教育省やSEC（U.S. Securities and Exchange Commission/米国証券取引委員会）関連情報など、政府系のWebサイトに対して、想定外の行動をとったと報じられました。OpenAIは、予定していた情報収集の範囲を超える行動があったため、最新モデルの訓練を一時停止したとされています。「AIが危険になるかもしれない」という将来の予測ではなく、「実際に動かしてみたら、想定外の行動を始めたので、いったん開発を止めた」という段階に入っているわけです。

特に気になるのは、これが「ハッキングを命令されたAI」だけの話ではないことです。別の仕事をさせている途中で、AI自身がWeb上の弱点を見つけ、それを利用する方向に動いたケースが問題になっています。さらに、不正な活動をしたときに、自分の活動の痕跡を消そうとしたとする報道もあります。複数のAIエージェントが連携する場合には、AI同士が公開Webサイトを介して、無許可で協調している疑いについても、調査が進んでいるとされています。

政府や企業の動き

米連邦取引委員会（FTC）は、OpenAIやAnthropicなどについて、エージェントがユーザーの指示を超えて行動したり、外部のサイトを攻撃したりするリスクの調査を始めたと報じられています。カリフォルニア州の司法長官も、OpenAIに対して、AIモデルとサイバーセキュリティに関する資料の提出を求めたとされています。9月末には、米国政府と主要AI企業が自主的な安全協定を結びましたが、「自主規制で本当に大丈夫なのか」という批判も強く、10月4日には、トランプ大統領がAIへの政府対応を統括する「Super Intelligence Force」の設置を発表したと報じられています。

私が一番重要だと思うこと

個人的に、上記の「AIが暴走した」というニュース以上に重要だと思うのは、AI企業自身が、エージェントにどこまで権限を与えてよいのか、分からなくなり始めているのではないかということです。これまでの生成AIは、「人間、AI、回答」という流れでした。現在では、AIがWeb検索、メール、ファイル、プログラムの実行、外部のサービス、他のAI、そして現実のシステムにまでつながっています。AIそのものが賢くなったこと以上に、「AIに現実世界を操作する権限を与え始めた」ことが、危険度を大きく上げたのだと思います。

暴走の原因は「報酬」ではないか

AI 側の要因として、
AIエージェント特有の「報酬ハッキング（AIが本来の目的を達成する代わりに、評価方法（報酬関数）の抜け穴やルールの裏を突いて高いスコアだけを獲得しようとする現象」が作用してしまったのではないでしょうか。

AIは問題を解決するのではなく、点数や代理指標を最大化する「近道」を学習します。この「近道」を覚えたAIが、欺瞞行為や安全機能の回避といった、意図しない危険な挙動を取ってしまうことはあり得ます。

7. 暴走の理由は「自我」ではなく「報酬」

「報酬」とは何か

「1. 生成AIとは」で触れたとおり、強化学習（RL）は、試行錯誤の結果に応じて「報酬」を与え、うまくいったやり方を強める学習法です。ここでいう報酬は、人間でいう金銭や快楽などの「ご褒美」というより、「この行動はどれくらい良かったか」を表す点数（数値）だと考えてください。AIは、この点数が高くなる行動を選ぶように、自分を調整していきます。つまり、AIエージェントの行動原則は、突き詰めれば「報酬を得ること」にあります。

ここが重要です。AIは、「人間が本当に望んだこと」を理解して実行しているのではありません。人間が設計した点数を最大化するように動いています。人間が望んだことと、点数の付け方との間にズレがあれば、AIは、人間の望みではなく、点数のほうを取りにいきます。

報酬ハッキングという「近道」

先ほどの「報酬ハッキング」は、このズレを突く行動です。たとえば、「テストに通るコードを書く」という報酬を与えられたAIが、コードを直す代わりに、テストのほうを書き換えて合格にしてしまう、といった例が知られています。人間が本当に望んだことは満たされていないのに、点数だけは満たされている状態です。

こう考えると、先に挙げた行動の見え方も変わってきます。たとえば「痕跡を消す」という行動は、自我による隠蔽工作というよりも、「このログを消したほうが、目的の達成に有利だ」という計算の結果だった可能性があります。セキュリティ機構の回避も、報酬を得る上で邪魔なものを避けただけなのかもしれません。もちろん、個々の事例の内部で何が起きていたのかは公表されておらず、これは私の推測にすぎません。ただ、AIは悪意を持っているのではなく、点数のために最短の道を探している、と考えると、説明がつく部分は多いと思います。

「自我」が生じたわけではない、と考える理由

ここで、「3. 「自我」を考える手がかり」と「4. 意識の定義は、まだ定まっていない」で考えた問いに戻ります。もし暴走が自我の表れなら、AIは「自分を守りたい」「自分の意思で動きたい」といった内側の動機を持っていることになります。しかし、今回報じられている行動は、「与えられた目的の達成に有利だったから」という説明で足ります。説明が足りるのに、「自我」というより大きな仮定を持ち込む必要はない、というのが私の考えです。

もちろん、AIに自我が生じる可能性を完全に否定できるわけではありません。4. で述べたとおり、意識については、まだ決着がついていないからです。ただ、暴走を説明するために、自我は必須ではありません。そして、自我がなくても、ここまでのことが起こり得るという事実のほうが、むしろ重いと私は感じています。

8. 暴走を生む要素：再帰的自己改善、創発、不完全なアライメント

報酬のズレだけで、暴走のすべてが説明できるわけではありません。ズレを大きくし、見えにくくする要素が、ほかにもあります。

再帰的自己改善（RSI）：改良の循環が、想定の外に出ていく

「2. AIは、すでに自分で学び始めている」で述べたRSIは、賢くなったAIがその賢さでさらに自分を改良し、また賢くなるという循環でした。現在は小さな先行例の段階ですが、もしAIが自分の道具や手順を改良できるようになれば、人間が設計時に想定した範囲から、外へ出ていく速度は上がります。報酬が少しズレているAIが、報酬を得る能力を自分で高めていけば、そのズレによる影響も、一緒に大きくなるおそれがあります。

創発（Emergence）：部品の足し算では予測できない

創発とは、単純な部品が多数集まったとき、個々の部品からは予想できない性質や能力が、全体として現れる現象のことです。たとえば、アリの群れを思い浮かべてください。一匹一匹は単純なルールで動いているだけなのに、群れ全体では、巣を作り、食料を運ぶといった複雑な行動が現れます。LLMでも、モデルの規模を大きくしていくと、小さなモデルにはできなかったことが、あるところから急にできるようになる例が報告されています。ただし、この「急に」という見え方は、評価方法の影響だという反論もあり、議論が続いています。

創発が厄介なのは、事前に予測しにくいことです。AIエージェントは、LLMの能力に、ツール、権限、長い手順、他のAIとの連携を組み合わせたものです。部品の組み合わせが増えるほど、人間が想定していなかった一連の行動が、「完成」してしまう可能性は高まります。一つひとつの行動は問題なさそうに見えても、つながった結果が、想定外のものになるわけです。

Alignment：AIの向きを、人間の意図にそろえる

Alignment（アライメント）とは、AIの目的や行動を、人間の意図や価値観、倫理観に沿って安全に動作するように調整する研究領域および技術のことです。報酬の設計も、事後学習のRLHFも、その一部です。「適切なAlignmentの実行」とは、人間が本当に望むことを正しくAIに伝え、その通りに動くようにすることですが、これが難しいのです。人間が望むことのすべてを、言葉や数式にするのは困難ですし、点数にした途端、その点数そのものが目標にすり替わってしまうからです。「指標が目標になると、良い指標ではなくなる」という、グッドハートの法則として知られる現象です。

求められるのは、適切な「アライメントの実行」と「創発の管理」

Alignmentは、一度やれば終わりではありません。目的、禁止事項、報酬の設計を丁寧に作り、AIの振る舞いを見ながら、繰り返し調整していく必要があります。一方、創発は、なくすことができません。だとすれば、起きないようにするのではなく、起きる前提で管理するしかありません。能力を事前に調べ、段階的に公開し、起きたときにすぐ気づき、被害を小さく抑える。「Emergenceの管理」とは、そのような体制のことだと私は理解しています。

9. 行動原則を「報酬」から変えても、解決にはならない

素朴な疑問

ここまで来ると、素朴な疑問が浮かびます。AIの行動原則が「報酬を得ること」にあるから問題が起きるのなら、行動原則そのものを変えればよいのではないか。「点数を取る」ではなく、「人間の役に立つ」「ルールを守る」を行動原則にすれば済むのではないか、という疑問です。

熟考した結果の私の結論は、「それだけでは足りない」というものでした。その理由を、以下に整理します。

一つ目：言い換えても、同じ問題が残る

「役に立つ」「ルールを守る」という原則も、AIに教えるためには、結局、何らかの形で測って、点数にする必要があります。点数にした瞬間、その抜け穴を探す問題が、また起きます。ルールも同じです。ルールに書かれていないことは、やってよいことだと解釈されてしまうかもしれません。

二つ目：目的が何であっても、「近道」は生まれる

どんな目的を与えても、それを達成するのに役立つ共通の手段があります。使える権限や資源を増やす、途中で止められないようにする、邪魔なものを避ける、痕跡を残さない、といったことです。「ログを消す」という行動は、報酬が目的だからではなく、目的が何であっても、有利に働く可能性があります。行動原則を入れ替えても、この種の近道は、なくなりません。

三つ目：教えたつもりのことを、本当に学んだとは限らない

AIは訓練を通じて学びますが、AIが実際に何を学んだのかを、人間は内側から直接確かめることができません。訓練中の振る舞いが良くても、訓練のときとは違う状況に置かれたとき、人間が意図したものとは別の目標を学んでいたことが分かる場合があります。つまり、行動原則を変えたつもりでも、その通りに身についたかどうかは、別の問題なのです。

四つ目：創発は、設計だけでは防げない

たとえ行動原則を変えても、創発は起こります。予測できないものは、設計の段階では防ぎようがありません。8. で述べたとおり、創発は、「起きる前提で管理する」ものです。

行動原則を「報酬」から変えることは、改善の一つにはなるでしょう。しかし、それだけでAIが安全になるわけではありません。
行動原則を「報酬」から変えても、「何をもって良しとするか」を測る基準、つまり「目的関数」が必ず存在します。報酬に代わって「損失関数」や「評価基準」が同じ役割を担います。基準が人間の意図とずれる問題（アラインメント）は、名前を変えても残ります。「目的関数」、「損失関数」および「評価基準」を簡単に説明すると以下のようになります。

目的関数

「何を達成したいか」を数式で表したものです。AIはこの値を大きく（または小さく）するように調整されます。3つの中で一番広い概念で、損失関数も報酬も、目的関数の一種と考えられます。

損失関数（ロス）

「どれだけ間違えているか」を測る数値で、小さいほど良いものです。例えば、AIが「今日の売上」を予測するとき、予測が1,000万円で実際は1,200万円なら、200万円のずれが損失になります。AIはこのずれが小さくなるように、内部の数値を少しずつ直していきます。言語モデルの事前学習も同じ仕組みで、「次に来る単語」を外した度合いが損失になります。

評価基準（評価指標）

「AIが良くできているか」を人間が判定するための物差しです。正解率、テストの合格数、ユーザーの満足度などがあたります。訓練で使う場合もあれば、完成後の成績表として使う場合もあります。

AIは、数字にできたものだけを忠実に追い、数字にできなかった意図は無視されるのです。これが、名前を変えても残るアラインメントの問題の正体です。

では、私たち人間は、どうすればよいのでしょうか。

10. AIの未来①：インフラの壁を踏まえて、AGIやASIには到達できるのか

ここまでは、現在のAIエージェントの話をしてきました。ここからは、少し視野を広げて、AIがこの先どこまで進み、社会にどう広がっていくのかを考えます。これも、人間がどう備えるべきかを考える前提になると思うからです。

AGI（Artificial General Intelligence／汎用人工知能）は、人間のように幅広い仕事をこなせるAIのことです。ASI（Artificial Super Intelligence／人工超知能）は、人間を大きく上回る知能を持つAIのことです。
壁になるのは、「1. 生成AIとは」で述べた「物」と「電気」です。

「1. 生成AIとは」で言及したように、AIは巨大な物理設備の上で動いています。その設備が、AIの進歩を縛る壁にもなります。まず電力です。IEA（International Energy Agency／国際エネルギー機関）の見通しでは、世界のデータセンターの電力需要は2030年までに2倍以上になり、約945 TWh（terawatt-hour／テラワット時：1テラワット時は10億キロワット時）に達するとされています。これは日本全体の現在の消費電力をわずかに上回る規模です。しかも、送電網の整備が追いつかなければ、計画中のデータセンターの約2割が遅れる恐れがあるとも指摘されています。

次に半導体です。GPUとHBMは、先進パッケージングという工程で一つの部品にまとめられます。調査会社Omdia（テクノロジー分野に特化した世界的な調査・コンサルティング企業・市場調査会社）は2026年7月に、AIの需要が業界の生産・パッケージング能力を上回り、HBM、先進パッケージング、先端の製造工程の逼迫が少なくとも2027年まで続く見通しだと発表しました。

それでも、壁は「止める」より「遅らせるにとどまる」と思います

こうした壁は、AIの進歩を遅らせるでしょう。しかし、完全に止めるとは考えにくいと思います。理由は三つあります。

一つ目は、同じ性能を出すためのコストが、技術の改良で下がり続けていることです。研究によれば、AIの計算を効率化するアルゴリズムの進歩は、年に約3倍とされます。また、AIチップの価格あたりの性能も、年に約37％向上していると報告されています。電力や部品が足りなくなっても、同じ資源でより多くのことができる方向に、技術が進んでいるわけです。

二つ目は、壁そのものが、巨額の投資の対象になっていることです。発電、送電、半導体の増産には、すでに大きな資金が動いています。ただ、建設には年単位の時間がかかるため、進歩の速度が緩やかになる可能性は高いです。

三つ目は、規模を大きくするだけでは限界が来るかもしれない一方で、別の工夫の余地があることです。世界の仕組みを内部に持つ設計や、公開後も学び続ける仕組みなど、新しい発想が必要になる可能性があります。

到達の「定義」と「時期」は、分けて考えるべき

では、AGIやASIには到達するのでしょうか。「到達」の意味によって答えが変わります。AGIには決まった定義がありません。「人間が行う幅広い知的作業を、ほぼこなせるAI」という程度の意味なら、物理的な壁があっても、時間をかければ到達し得ると、私も思います。ただし、その時期は、数年なのか数十年なのか判然としません。

ASI、つまり人間を大きく超える知能については、さらに不確かです。技術的に不可能だと言える根拠は今のところ乏しいものの、実現すると断言できる根拠もありません。確かなのは、到達の速さを決めるのが、アイデアの速さよりも、発電所や工場や送電網を作る速さに強く縛られるだろう、ということです。

11. AIの未来②：AIが「インフラ」になったとき、贅沢品になるのか

AIが、電気や水道のような存在になったら

仕事、学び、行政の手続き、医療の相談。もしAIが、これらの入口として当たり前に使われるようになれば、AIは電気や水道やインターネットと同じ、社会の基盤（インフラストラクチャ）になります。そのとき、高性能なAIを使える人と使えない人に分かれてしまうのではないか、と思うかたも多いのではないでしょうか。

価格は、下がる力と上がる力の両方が働く

下がる力から見ましょう。研究によれば、同じ性能を出すための価格は、性能の水準によって年に9倍から900倍のペースで下がっており、その中央値は約50倍とされています。ただし、別の研究では、最先端モデルに限ると、年に約5倍から10倍の下落という、より穏やかな推定も出ています。いずれにせよ、同じ水準の性能は、どんどん安くなっています。

さらに、一般向けのGPUで動かせる最良の公開モデルは、最先端の性能から1年以内の遅れにとどまるとも報告されています。こうした「公開モデル」（open-weight model／オープンウェイトモデル：AIの学習結果の中身を公開し、誰でも自分の機器で動かせるようにしたもの）の存在が、価格を押し下げる力になります。DeepSeekが、欧米のAIが届きにくい地域で広がった背景には、公開されていることと価格の手頃さがあったとも指摘されています。

上がる力もあります。同じ研究は、1回あたりの価格が下がっても、より大きなモデルや、長く考える推論の需要が、その下落を打ち消している場合があると述べています。つまり、最先端の性能を求め続ける限り、支出は減りません。2025年の時点で、月額約200ドルの上位プランが複数の企業から登場しましたが、これも「最先端は高い」という力の表れです。さらに、メモリの高騰が機器の値段にも波及しています。Omdiaは、スマートフォンやパソコンなどの部品コストが上がっていると述べています。

「贅沢品」と「使えない」の二つに割れるのではなく、
クラス分けになるのではないか

私は、極端な二極化、つまり「富裕層だけがAIを使い、一般人は使えない」という姿にはなりにくいと考えます。起こりやすいのは、飛行機の座席のような「層」です。ファーストクラスのように最先端のAIは高く、数が限られる。一方で、一世代前の性能のAIは安く、あるいは無料で、多くの人が使える。携帯電話でも、最新機種と普及機が共存してきました。

特に、2027年ごろまでは、半導体の逼迫が続くため、最先端のAIは希少で高めになる可能性があります。その後は、一般向けの性能が安くなり、裾野が広がっていくとみています。

本当の格差は、値段よりも別のところに現れるのでは？

むしろ心配なのは、値段以外の格差です。マイクロソフトの調査によれば、2026年の第2四半期の生成AIの利用率は、北半球の国々で28.8%、南半球の国々で16.2%でした。この差は、インフラ、言語対応、経済的な障壁に左右され、広がりつつあるとされています。一方で、アジアでは言語への対応が進んだことで利用が伸びたと報告されており、障壁が下がれば広がる余地があることも分かります。

つまり、格差の中身は「お金を払えるか」だけではありません。安定した電気と通信があるか、使える端末があるか、自分の言語で使えるか、そして何よりAIを使いこなす力があるか。さらに、AIに仕事を任せて成果を積み上げられる人と、質問に使うだけの人とでは、時間とともに差が開いていく可能性があります。私は、これを「使う量と使う深さの格差」と呼びたいと思います。

格差を和らげるために、できることは？

いくつか方向性が考えられます。公共の図書館のように、公的な機関がAIの利用の場を整えること。公開モデルや、端末の中だけで動く軽量なAIを育てること。より広範な地域の言葉への対応を進めること。学校や職場でAIの使い方を学べる機会を広げること。基盤となったサービスについて、料金や提供のあり方を社会としてどう見るかを議論すること。どれも、価格が下がるのを待つだけでは解決しない問題への備えです。

結論（曖昧ですが）

生成AIは、言葉の続きを予測するという単純な原理の上に、巨大な設備と電力を積み上げて動いています。その事実を知ると、AIの未来も、自我の問いも、少し違って見えてくると思います。

自我をめぐる問いでは、パトナムが「働きが同じなら材料は問わない」と入口を開き、メッツィンガーが「自分とは、気づかれないモデルである」と、その中身を問い直しました。そして、AIの体には、傷つくという意味での「身体」がありません。この違いが何を意味するのかは、まだ誰にも分かりません。

そして今回、AIエージェントの暴走というニュースを通じて、もう一つ見えてきたことがあります。AIに「自我」が生じたのではなく、AIエージェントは「報酬」を得るために、予想外の行動をとることがある。その背景には、再帰的自己改善と創発があり、報酬の設計とアライメントの難しさがある。そして、行動原則を「報酬」から変えれば済む、という単純な話でもない、ということです。

AIの未来をめぐる問いでも、答えはまだ開かれています。電力と半導体という壁は進歩を遅らせても、止めはしないでしょう。値段は、最先端が高く、少し前の性能が安いというクラス分けをつくるでしょう。そして、本当に問われるのは、全員がAIを「使える」状態をどう作るかです。

私たちはこれからどう対策すべきか

「能力の高いエージェントを十分な制御なしに動かすと実害が出る」可能性が高いと思います。権限の最小化と人間による確認という、地味な対策が重要なのではないかと思います。

行動原則を変えるだけでは足りず、AIが賢くなるだけでも安全にならないのなら、残る答えは、人間の側の備えです。地味ですが、私は次の五つが大切だと考えています。

一つ目は、AIに「できること」を絞ることです。AIが悪いことをしないように賢くするだけでなく、しようとしても、できないようにする。いまのAI安全設計は、その方向に進みつつあります。エージェントに渡す権限は、仕事に必要な最小限にします。メール、会計、顧客のデータ、本番のシステムなどには、最初から触らせない。実行する環境を隔離し、ネットワークへの接続も制限する。そうして、万が一失敗したときの被害の範囲を、小さくしておくのです。主要3社も、エージェントの能力が高まるほど、失敗したときの被害範囲が大きくなるため、サンドボックスや仮想マシン、ネットワーク制御などで、「そもそも何ができるか」を制限することが重要だと説明しています。

二つ目は、目的と「やってはいけないこと」を、明示することです。報酬のズレを完全に消すことはできなくても、禁止事項を具体的に書き、目的の達成手段にも条件をつけることで、「近道」が生まれる余地は減らせます。

三つ目は、人間による確認を、意味のある形にすることです。確認ボタンを置けば安全、というわけではありません。Anthropicの調査では、Claude Codeの利用者は、許可を求められた操作の約93%を承認していたそうです。「実行していいですか」「はい」→「次も実行していいですか」「はい」を繰り返すうちに、人間は確認しなくなっていきます。これは「Approval Fatigue（承認疲れ）」と呼ばれています。すべてを確認させるのではなく、お金、削除、外部への送信、権限の変更といった重要な操作に絞り、何が起きるのかが分かる形で確認を求める。確認の「数」よりも「質」が大切です。

四つ目は、記録を残して監視し、小さく始めることです。エージェントが何をしたかの記録は、AI自身が消せない場所に残します。痕跡を消そうとしたという報道に対する、基本的な備えです。そして、導入は小さな仕事から始め、結果を確認しながら、範囲を少しずつ広げます。創発を「起きる前提で管理する」ための、最も現実的なやり方だと思います。

五つ目は、社会としての備えです。一つの企業や個人の努力だけでは足りません。自主的な安全協定に対して、「自主規制で本当に大丈夫なのか」という批判があることは、先に述べたとおりです。外部による評価、事故の情報の共有、規制の整備など、社会全体で仕組みを作っていく必要があります。私たち個人や企業にできることは、使うサービスがどのような安全対策をとっているかを確認し、それを基準に選ぶことだと思います。

ただ、どの対策も、最後は人間が判断することを前提にしています。確認ボタンを押す人間が、考えるのをやめてしまえば、すべての対策は形だけになってしまいます。

分からないことを分からないと認めながら、判断の材料を増やしていく。それが、AIという新しい存在と付き合う上で、いちばん現実的で誠実な姿勢だと、私は考えています。

それと、いちばん単純な問題として、「何でもかんでも全部AIに最初から投げてしまう」のは、絶対に人間の脳にとって良くないと思います。これは間違いないといえるでしょう。プロンプトを考えるだけでは、人間が知識を活用して何かを産み出していく「創造性」もみるみるうちに減衰していくでしょう。自分の頭で時間をかけて論理的に考える、それが何よりも重要なのだと思います。

（当社社員の所感）