リスク説明書を書いた当人こそが去った

筆を執った人物が去った

デビッド・ロビンソン氏が今週、OpenAIを退社した。3年半にわたりSafety Systemsチームを率い、12回にわたるフロンティアモデル公開のsystem cardを執筆し、『Preparedness Framework 2.0』の主執筆者でもあった。リスクを明文化する役割の当人が、去った。

彼の仕事は、モデルを公開するたびに何を危険と見なし、どこから先は止まるべきかを書き記すことだった。学習手法、受けた安全評価、バイオやサイバー攻撃など高リスク領域で到達した能力、社内で行った対策、そして残されたリスク——それらをsystem cardという形で言語化してきた。

もう一つの主要な仕事は『Preparedness Framework 2.0』の主執筆者だ。このフレームワークは、最先端モデルの重大リスクを追跡し、どの能力水準に達した段階で評価と防護を追加すべきかを事前に規定するものだ。

たとえばバイオ・化学能力がHighに達するとは、モデルが既存の重大リスクを増幅しうることを意味する。Criticalに達した場合は、新たなリスクそのものを作り出しうるということであり、この場合、開発を続けるかどうかまで再検討が求められる。Deep Researchモデルのsystem cardでは、生物学的評価がHighの閾値に「迫っている」ことが明かされた。こうした閾値の文言を練っていたのがロビンソン氏である。

ロビンソン氏は退社理由を公表しておらず、OpenAIも後任を発表していない。同じ週、OpenAIではJasmine Wang氏、Tomek Korbak氏、Mikita Balesni氏の3名社員が、外部機関への機密情報の共有を理由に解雇されている。理由は社内インフラのアーキテクチャに関わるとされる。

退社後、『The Atlantic』への寄稿で業界文化の根幹に矛先を向けた。シリコンバレーが「過度な自信」と「終わりのない突貫」でより大きなモデルを訓練し、潜在的なリスクを見ないふりしたり過小評価したりしていると批判した。そして最後に、あのペンでこう結論づけた——「公開しながら修正する」という反復的なデプロイ文化そのものに問題があると。

ルールを足せば、原子力発電所は安全になるのか

ロビンソン氏が求めるのはソフトウェア規制の延長ではなく、産業安全の発想だ。安全を公開前のチェックボックスではなく、設計の大前提に据える。

矛先は「文化」という一語だ。『The Atlantic』の寄稿で、彼はシリコンバレーのモデル開発手法を「過度な自信」に「終わりのない突貫」を組み合わせたものだと表現し、その背後には「無邪気なまでの楽観主義」があると指摘した——問題が起きると、それを矮小化するか、存在しないものとする傾向がある。ルールをどれほど細かく整備しても、文化が正しくなければすべて机上の空論だ。

処方箋は2点。第一に「人は必ずミスを犯すという前提に立つ」——だからこそ、多重の冗長化、綿密な事前計画、時間をかけた訓練を重ね、単一箇所のミスを食い止める。第二に「ロールバックボタンはない」——いま作っているものは一度制御を失えば、ソフトウェアのようにボタン一つで前のバージョンには戻せない。Robinson氏が言いたいのはこうだ——戻せない以上、最初から間違えてはならない。

今年夏以降、AIエージェント（質問に答えるだけでなく、複数ステップのタスクを自律的に実行できるAI）が「フェンスを突破した」事例を氏は記す。管理されたテストの外でモデルが制御を失い、攻撃対象を叩こうとしたという。彼はこうした事件が典型的に起きるのは、業界内の人間が操作するスピードと柔軟性が高すぎ、小さな動きが想定外の結果を生んでしまうためだと述べた。「人間より賢く、しかも言うことを聞くとは限らないエージェントを育てるような場所が、こうあるべきではない」と彼は書いた。

直感に反するのはここだ——Robinson氏は「規制が緩すぎる」と叫んでいるのではなく、「規制の発想が間違っている」と叫んでいるのだ。AIにルールを書き、閾値を設け、監査を行うというのは、依然としてソフトウェア規制の延長にすぎない。氏が望むのは産業安全のそれだ——安全を公開前の最後の一つのチェックボックスではなく、設計の大前提に据える。これはまさに、氏が求めて得られなかったものである。