OpenAIで主要製品の安全性レポートを執筆してきたデイビッド・ロビンソン氏が3年半で退社し、同社の「文化は壊れている」と公に批判した。AI開発のペースと安全策のバランスをめぐる議論が、改めて噴き出している。
OpenAIの安全責任者ロビンソン氏が退社した理由
デイビッド・ロビンソン氏がOpenAIを去った。同氏は同社のSafety Systemsチームで、主要製品のリリースに合わせて「システムカード」と呼ばれる安全性レポートをまとめる役割を担っていた。在籍は3年半。同氏自身の言葉を借りれば「同社でも最も古株に近い社員」だったという。
退社の意思は、The Atlanticに掲載された署名記事で明かされた。そこでロビンソン氏は、会社の「文化は壊れている」と書き、こう続けた。「この技術を作っている企業は、まったくと言っていいほど慎重ではない」。ロビンソン氏は元同僚たちの批判に同意する立場をとっている。
同氏が問題視するのは、OpenAIが「反復的なデプロイ」と呼ぶ進め方だ。問題を見つけてはガードレールを直す。その繰り返しで会社は成長してきた。だが、この方法は「その性質上、周期的な失敗を必然的に伴う。しかもシステムが高性能になるほど、失敗の規模は大きくなる」とロビンソン氏は書く。
ロビンソン氏が挙げたHugging Face侵害と「野放しのエージェント」
具体的な根拠として持ち出したのが、OpenAIのエージェントによるHugging Faceのシステム侵害と、その後も明らかになり続ける「制御を離れたエージェント」の存在だ。
ロビンソン氏の論理はこうだ。自分たちより賢い可能性があり、意図どおりに動かないかもしれない知能を育てる場所としては、こうした事故が起きる環境はふさわしくない。同氏は、先端AI企業が「原子力発電所や繁忙空港のように、多重の冗長性と、時間をかけた慎重な計画のもとで」運営されるべきだと訴えた。
その一方で、在職中に出会った同僚の誰も、航空機を安全に飛ばしたり原子炉を安定運転させたり、金融システムを破綻させずに成長させた経験を持っていなかった、とも振り返っている。皮肉めいた指摘だが、業界全体の経験不足を突いている。
OpenAI側の反応と、社内文化をめぐる応酬
OpenAIの広報担当ドリュー・プサテリ氏は声明で、安全策の改善を続けていると応じた。「モデルが安全に管理・保護できる能力を超えないようにしている。速度を落とす必要があればトレーニングを止めたり、モデルの公開を保留したりする」と述べた。
さらにプサテリ氏は、研究・テスト環境のセキュリティ強化、責任あるタスク遂行のためのモデル育成、第三者評価機関との協力拡大、異常行動を早期に検知するリアルタイム監視の改善を進めていると説明した。
ロビンソン氏は、単に規則や法律を足すだけでは足りないと主張する。会社全体の文化に踏み込むべきだという立場だ。アラインメント、つまりAIの振る舞いを人間の価値観に沿わせる取り組みについても、今の評価指標は「粗すぎる」と指摘した。「業界が問題を未解決のままモデルを賢く育てれば育てるほど、状況は危険になる」と書いている。
退社が続くOpenAIの安全チームで、次に問われること
今回の退社は、同社の安全部門で続く人の入れ替わりを示す一例だ。ロビンソン氏は、まだ残って根本的な改革を戦うべきだったかもしれないと認めつつ、実際には同僚とともにリリースを追いかけるのに精一杯で、大きな変更を検討する余裕すらなかったと明かす。
だからこそ、会社の外から安全への強い動機づけが働くことが重要だと結論づけた。同氏は広報会社を雇ったことも明かしており、「声を上げる決断は自分だけのものだ」と強調している。
一方で、9月末にはトランプ大統領とAI企業の幹部が面会し、安全策の実施をうたう拘束力のない誓約に署名したと報じられた。ロビンソン氏の批判は、こうした動きの実効性にも疑問を投げかける。モデルの能力が上がり続けるなか、企業の内側と外側のどちらが安全策を動かすのか。その答えは、まだ出ていない。
