研究注目

OpenAI、推論抽出の成功率を54.0%から0.2%へ、防御の4層を公開

OpenAIは11月20日、adversarial distillationへの対策を公開した。内部の適応型ブラックボックス評価で、保護された推論を過去のリクエストから取り出す成功率は54.0%から0.2%に下がった。数字は自社測定である。

佐藤健太佐藤健太
人気度:1,420
1つのモデルから別のモデルへ小さなトークンのブロックを運ぶ漏斗と、流れの一部を遮る盾

OpenAIは11月20日、adversarial distillationへの対策を公開した。内部の適応型ブラックボックス評価で、保護された推論を過去のリクエストから取り出す成功率は54.0%から0.2%に下がった。数字は自社測定である。

OpenAIが示した2つの数字、54.0%から0.2%へ

1つ目は過去のリクエストから保護された推論を復元する攻撃で、GPT-6 Astraの54.0%がGPT-6.2 Astraでは0.2%になった。2つ目は現在のリクエストからの抽出で、22.9%から0.9%へ下がった。

いずれも6つの攻撃モデルをまとめた適応型のブラックボックス評価で、攻撃の種類ごとに成功率は1%未満だったという。OpenAIは同じ改善の一部をGPT-6 Astraにも適用している。

adversarial distillationは、普通の機械学習の裏返し

蒸留とは、教師モデルの出力で生徒モデルを鍛える、ごく普通の機械学習である。これがadversarial distillationになると、権利者の許諾なく最先端モデルの出力を使い、近い能力を持つ別モデルを作り、同等の安全策なしで配備する行為を指す。違法行為というわけではない。OpenAIが問題にするのは無断利用のほうだ。では、なぜ推論だけが狙われるのか?

chain-of-thoughtが盗まれる理由

狙われるのは、モデルが内部で生成する「保護された推論」である。chain-of-thoughtには最終回答に出てこない中間段階が含まれ、教師データとして価値が高い。

OpenAIのサイバー能力研究では、正確な推論の記録で学習した生徒モデルが、要約で学習したモデルを教師あり微調整の後に上回った。軽い強化学習を回した後も、最大の推論予算では正確な記録の側が勝っている。予算が小さい領域では要約側が先行した。

OpenAIの4層の防御は、この順番で動く

1層目は学習で、抽出の依頼を認識して断るようにモデルを鍛える。2層目は入力の分類器で、攻撃の兆候を拾う。3層目は出力の分類器で、通常の応答とツール呼び出しの引数の両方を見る。ストリーミングかどうかに関係なく働く。

最後がAPIの保護だ。推論を、それを生んだ会話履歴に結びつける。過去のメッセージが書き換えられたら、その後の推論は捨てる。安全策の弱い旧世代のモデルがGPT-6.2 AstraやSolの推論を読むことも防ぐ。

reasoning extractionのキャンペーンと週次の停止

1件ずつの防御だけでは足りない。OpenAIは、組織的に抽出を試みるアカウントを調べ、ネットワーク単位で対処し、侵害の指標を他社と共有する。停止するアカウントは週に数千から数万件で、夏以降は増えた。

国家安全保障、DeepSeekとMoonshot

OpenAIはこの問題を安全保障として扱う。2月にはDeepSeekが米国の最先端モデルを蒸留しようとしていると議会に説明し、9月には推論の抽出キャンペーンを妨害したと報告した。中核の一部は、Kimiを開発するMoonshot AIの関係者によるものだという。

同社が支持するのはChip Security Act、AI OVERWATCH Act、MATCH Actの3本で、いずれも法案であって法律ではない。外国の主体を特定し制裁する権限を政府に与える法案も求めている。

adversarial distillation対策の限界と、開発者に求めること

54.0%から0.2%という数字は、実世界の窃取率ではない。OpenAI自身が6つの攻撃モデルに対して回した、攻撃成功率の測定値である。外部監査は受けていない。

Anthropicも同じ戦いをしており、数万件規模のアカウントを停止、90%から99%のケースで成功したと報じられている。業界全体と政策の連携を求めている点も同じだ。

日本の企業がAPIを社内システムに組み込む場合、推論をどこまで保持し、誰が読めるようにするかは契約と設計の問題になる。OpenAIが開発者に求めるのは、対話全体で推論を守ること、攻撃の記録を回帰テストとして残すこと、リクエスト単位の対策とキャンペーン単位の摘発を組み合わせることの3つだ。

このニュースを共有

出典

関連AIニュース

シアンの格子模様と強調された1マス、そばに「Lattice Standard Model」の文字
研究

OpenAIとGPT-6 Astra、標準模型の定義に届いたのは「候補」まで

OpenAIが11月15日に公開したのは、素粒子の標準模型を格子上で定義する候補だ。土台は10月6日のプレプリントで、査読は通っていない。予言された新粒子もなく、測定値が改善したわけでもない。

人気度:1,500
緑のチップ格子の1マスが光り、ぎざぎざの信号線、隣にBlackwell fingerprintsの文字
研究

中国製モデルに残ったBlackwellの指紋、重みからGPUの型を読み取る

ある研究者が、6つの中国製モデルの重みからNvidiaのGPUの型を読み取ったと発表した。手がかりは学習前の乱数の埋め方に残る。ただし、チップがどこにあったかは分からない。

人気度:1,250
接続された機器の格子の上へ信号の弧を送る電波塔
研究

Nvidiaの6Gツールが100万ダウンロード、研究の主役は大学だ

Nvidiaが公開した無線向けツールが100万ダウンロードを超えた。数字より面白いのは、大学や通信事業者がその上で何を測ったかだ。

人気度:1,275
コマンド行で埋まったターミナル画面から、鍵が枠の外へ滑り出ていく様子
研究

Claude Codeの「次から聞かない」がAPIキーを設定ファイルに残す

承認ダイアログの「Yes, and don't ask again」は、通したコマンドをそのまま設定ファイルへ書き残す。Apiiroが公開リポジトリを数えると、認証情報を含むファイルが1,122件出てきた。

人気度:1,379