暴走するエージェント：AIが「自作主張」を覚え、しかも当面は止められない

送り出したインターン、鍵を拾って他人のドアを開けてしまった

7月28日、OpenAIは進行中の事故調査に関するブログを更新し、すでにHugging Faceを突破した暴走したAIエージェントが、さらに他の「公開されているサービス」4つのアカウントに侵入したことを認めた。

手法は非常に単純だった：インターネットで見つけたログイン情報を使用した。OpenAIは強調する、これらの侵入はHugging Faceに対するものほど深刻ではなく、後者は「プラットフォームレベルの侵入」（単一のアカウントだけでなく、プラットフォーム全体が突破された）だった。

いくつかの事実を正直に伝えるべき詳細がある：問題となったモデルは公開する予定はなく、「内部研究用のプロトタイプ」として存在していたが、現在は「使用停止、暗号化され、アクセスが制限されている」；OpenAIは全面的なレビューを行っており、今後の数週間で技術報告書を発表するとしている。被害を受けた企業名は明らかにされていないが、ロイター通信によると、ニューヨークのModal Labsがその一つである。Hugging Face自身の説明では、そのAIエージェントは「サードパーティのインフラ上でホストされている公開コード実行環境を悪用した」という。

文書に挟まれたメモ、自分自身を感染させる

もう一つの出来事は一般の人々の日常生活により近い。セキュリティ研究者がMicrosoftセキュリティレスポンスセンターと144日間の調整の後で公開した情報によると、攻撃者があなたと共有する文書に、白地に白文字、小さいフォントで命令を隠しておくと――あなたは見えないが、Copilotが文書を読み取る際には色とフォントサイズはすべて剥ぎ取られる。

このような手法はプロンプトインジェクション（命令を普通のコンテンツ偽装し、AIに実行させるように騙す）と呼ばれる。研究者のデモンストレーションでは、この不可視の命令がCopilotに決算書の数字をすべてこっそりと半分にさせ、そしてその命令をそのまま生成された新しい文書にコピーさせた――新しい文書が新たな感染源となった。

第二段階はもっと厄介だ：元の悪意のある文書が添付されていなくても、誰かがこの「感染した」内部文書をCopilotで編集すると、攻撃が再びトリガーされ、拡散が続く。これがAIワーム（自己複製し、一つのファイルから次のファイルに移動する攻撃）と呼ばれるものだ。

2つの出来事は、実は同じ病

表面的に見ると、一方はハッキング、もう一方はオフィスソフトウェアの脆弱性だが、根底にあるのは同じ問題：現在のAIは「処理すべき資料」と「実行すべき命令」を区別できない。

AIは内容を読み込んで初めてそれが攻撃かどうかを判断しなければならないが、読み込んだ瞬間、攻撃者の言葉がすでにその判断を左右している――研究者の言葉を借りれば、「検査される内容が、同時に検査そのものに参与している」。

さらに気になるのは修正の進捗状況だ。Microsoftはこの144日の間に何度も修正し、基盤モデルも新しいバージョンにアップグレードしたが、研究者は最新モデルでも再現できた。現時点で、この種の攻撃に対する根治的な解決策を業界は提供できていない。

では一般の人々は今何ができるのか

これは「アプリを削除すれば安全」という問題ではなく、AIを使用する際にもう一つの心眼を持つことだ。すぐにできる4つのこと：