研究熱門

OpenAI 把推理被竊的成功率從 54% 壓到 0.2%,但這是自家黑箱測試

一組內部紅隊數字,說明保護思維鏈有多難,也說明為什麼 OpenAI 要把這件事拉到國家安全層級來談。

陳柏宇陳柏宇
熱度:1,420
漏斗把小型詞元方塊從一個模型盒送到另一個,中間有一塊盾牌擋住部分流量

一組內部紅隊數字,說明保護思維鏈有多難,也說明為什麼 OpenAI 要把這件事拉到國家安全層級來談。

兩個數字先看清楚:54.0% 到 0.2%,22.9% 到 0.9%

OpenAI 在 11 月 20 日發布「對抗性蒸餾」的說明,開頭就給了一組對比。在內部自適應黑箱評估中,從先前的請求裡還原受保護推理的平均攻擊成功率,從 GPT-6 Astra 的 54.0% 降到 GPT-6.2 Astra 的 0.2%。從當前請求裡抽取,則從 22.9% 降到 0.9%。

這組數字彙總了六個攻擊模型的結果,是 OpenAI 自家的評估,不是外部稽核。它衡量的是攻擊成功率,不是真實世界的竊取率。官方也說,在新的防護下,每一種攻擊類型的成功率都低於 1%,而且部分改良會回套到 GPT-6 Astra。

adversarial distillation 是什麼,跟一般蒸餾差在哪

蒸餾是機器學習裡的常規做法:用一個大模型的輸出當教材,訓練一個小模型,讓小模型學到類似的行為。這種技術本身沒有問題,很多團隊用它壓成本、把大模型的能力搬到比較小的模型上。

adversarial distillation 指的是未經授權的那一種:拿前沿模型的輸出訓練另一個模型,繼承能力,卻不繼承安全防護,然後部署出去。OpenAI 關切的是後半段,能力被拿走,責任留在原地。

為什麼 chain-of-thought 是最值錢的部分

模型的思維鏈包含中間步驟,最後答案往往看不出來。對想蒸餾的人來說,這些步驟就是教材。OpenAI 引用的內部資安能力研究發現,用完整思維鏈微調的學生模型,在監督式微調後通常贏過用摘要訓練的版本;即使加了一輪輕量強化學習,在最大推理預算下仍然領先,雖然在較低預算時摘要版更好。

換個說法,偷摘要只能學到皮毛,偷完整推理才能學到解題方式。這也是 reasoning extraction 為什麼值得獨立拉出來談:它拿走的不是答案,是產生答案的流程。

四層防禦,按作用順序排

第一層是訓練。模型被教會辨識並拒絕抽取請求,遇到明顯引導式的問法會收手。

第二層是輸入分類器,負責在請求進來時就標記可疑模式。第三層是輸出分類器,涵蓋助理訊息與工具呼叫參數,串流與非串流回應都算。工具呼叫參數常常被忽略,因為那裡看起來不像「聊天內容」,但它同樣會漏出推理片段。

第四層是 API 規則。受保護的推理會綁在產生它的對話歷程上,前面訊息被改寫後,對應的推理就丟棄;較舊、防護較弱的模型家族,也不能讀取 GPT-6.2 Astra 與 Sol 的推理。這一層處理的是「跨對話搬運」,9 月那篇揭露的攻擊手法就是靠加密推理在對話之間移動。

每週數千到數萬個帳號:campaign 層級的執法

單一請求的防禦之外,OpenAI 也查帳號網絡。官方說每週封鎖的帳號從數千到數萬個,夏天以來明顯上升。做法包括調查協同抽取的帳號、對整個網絡執法、把入侵指標分享給其他供應商。

這段對開發者的意義很直接:用 API 大量呼叫、把輸出存起來再訓練,遲早會被標記。台灣與香港有不少團隊靠 OpenAI 的 API 做客服與內容工具,若把模型輸出當免費教材,風險不只是違反條款,而是整個帳號被停,連帶影響正式產品。

國家安全:2 月的 DeepSeek 簡報與 9 月的 Moonshot 關聯

OpenAI 把這件事放進國家安全框架。它說 2 月曾向國會簡報,指稱 DeepSeek 試圖蒸餾美國前沿模型;9 月則通報瓦解了一次抽取行動,並把核心部分歸因於與 Moonshot AI(Kimi 的開發商)有關的人員。這裡的措辭是「有關人員」,不是公司本身被制裁或起訴。

OpenAI 也表態支持三部法案:Chip Security Act、AI OVERWATCH Act 與 MATCH Act,另外支持賦予美國政府更多工具去識別與制裁境外行為者的立法。法案不是法律,支持的對象也不等於已通過的規則。

reasoning extraction 的三個限制

第一個限制是來源。數字由 OpenAI 自己跑、自己公布,沒有獨立實驗室複驗。第二個是範圍。評估對象是六個攻擊模型,不等於所有攻擊手法。第三個是時間。防禦會過時,今天的 0.2% 不代表明年還是 0.2%。

Anthropic 也在打同一場仗。The Decoder 報導,它封鎖數萬個帳號,宣稱在 90% 到 99% 的案例中成功,並呼籲產業與政策協調。兩家公司的數字沒法直接比較,但都指向同一件事:抽取是產業級的問題,不是單一廠商的漏洞。

對一般使用者與開發者的實際意義

如果你只是用 ChatGPT 寫信、查資料,這些防禦幾乎不會被你感覺到。如果你在做產品,變化在細節:工具呼叫的參數也會被分類器掃、改寫前面訊息會讓後面的推理失效、大量重複的請求更容易被盯上。

OpenAI 對其他開發者的建議有四條:保護整個互動過程中的私有推理,包含工具呼叫參數;把成功的攻擊紀錄留成回歸測試;把單次請求的緩解與 campaign 層級的執法一起做;與部署夥伴協調防護要求。這四條比 0.2% 那個數字更值得抄,因為它們是可執行的工程習慣。

分享這則新聞

來源

相關 AI 新聞

綠色晶片格狀圖,其中一格被標亮,旁邊是一條鋸齒訊號線,寫著 Blackwell fingerprints
研究

Blackwell 指紋鑑識:六個中國模型的權重洩漏了它們用哪張卡

訓練開始前,GPU 把數十億個空位填成隨機數字,填的方式會留下核心數的痕跡。有人把這道痕跡從六個中國模型的權重裡挖出來,24 個對照模型全部命中。

熱度:1,250
無線電塔向連網裝置組成的網格送出訊號弧線
研究

Nvidia 開源 5G 與 6G 工具下載破百萬,研究機構為什麼開始預設用它

下載量只是一個訊號。真正的變化是無線研究現在預設從哪裡開始,以及沒有電信背景的人也能先把想法跑一遍。

熱度:1,275
終端機視窗裡滿是命令列,一把金鑰正滑出畫面外
研究

Claude Code 的「不要再問」按鈕,把 API 金鑰寫進了公開設定檔

一個為了少按幾次確認而存在的按鈕,把整條指令連同裡面的密碼存成允許清單。Apiiro 掃了十萬份公開檔案,這條管道數得出來。

熱度:1,379
石墨與餘燼色漸層上,一排終端機視窗中有一扇打開的門
研究

Censys 掃到 1,465 台公開的 Artex 攻擊框架主機

掃描結果看起來像一支軍隊,實際上有大半是同一批人開了很多台機器。真正該看的是那些忘了關門的測試環境。

熱度:1,260