RecherchePopulaire

OpenAI ramène le vol de raisonnement de 54 % à 0,2 %

Dans une évaluation interne, récupérer le raisonnement protégé d'OpenAI passe d'un taux de réussite de 54 % à 0,2 % entre deux générations du modèle. La méthode est documentée. Les chiffres restent ceux de l'entreprise qui les publie.

Julien MartinJulien Martin
Popularité : 1,420
Un entonnoir qui transporte de petits blocs de jetons d'un modèle à un autre, avec une plaque de protection qui bloque une partie du flux

Dans une évaluation interne, récupérer le raisonnement protégé d'OpenAI passe d'un taux de réussite de 54 % à 0,2 % entre deux générations du modèle. La méthode est documentée. Les chiffres restent ceux de l'entreprise qui les publie.

Ce que mesurent vraiment les 54 % et 0,2 % d'OpenAI

OpenAI a publié le 20 novembre un billet intitulé « Combatting adversarial distillation ». Deux couples de chiffres y structurent l'argument. Pour récupérer le raisonnement protégé à partir d'une requête antérieure, le taux de réussite tombe de 54,0 % face à GPT-6 Astra, avec ses protections d'origine, à 0,2 % face à GPT-6.2 Astra, avec les protections mises à jour. Pour l'extraction depuis la requête en cours, il passe de 22,9 % à 0,9 %.

Ces taux viennent d'une évaluation interne, en boîte noire et adaptative, agrégée sur six modèles d'attaquants. OpenAI précise que les deux taux restent sous 1 % par type d'attaque avec les nouvelles protections, et que certaines améliorations sont appliquées à GPT-6 Astra aussi.

Un point de vocabulaire évite les malentendus: il s'agit de taux de réussite d'attaque, pas d'une mesure du vol réel dans la nature. Un attaquant qui échoue dans ce cadre n'est pas nécessairement un attaquant bloqué ailleurs.

L'adversarial distillation, ou du machine learning ordinaire détourné

La distillation est une pratique banale. Un modèle « étudiant » apprend à partir des sorties d'un modèle « enseignant », souvent pour obtenir un modèle plus petit et moins cher. Rien d'illégal, rien de nouveau: c'est l'une des techniques les plus utilisées du domaine.

L'adversarial distillation apparaît quand l'autorisation disparaît. OpenAI définit le phénomène comme l'usage des sorties d'un modèle de frontière pour entraîner un autre modèle aux capacités proches, puis le déploiement de ce modèle sans protections comparables. La différence tient donc à trois choses: l'absence d'accord, l'héritage des capacités, et la perte des garde-fous.

Pour une équipe française qui entraîne sur des sorties d'API, la ligne rouge est désormais écrite dans les conditions d'utilisation. La vérifier reste une autre affaire, puisqu'aucun outil public ne dit à un client si son propre affinage ressemble à une extraction.

Pourquoi le chain-of-thought est la partie qui se vole

Ce qu'OpenAI appelle le raisonnement protégé, ce sont les étapes intermédiaires que le modèle produit avant sa réponse. Ces étapes contiennent des informations que la réponse finale laisse de côté: essais abandonnés, vérifications, corrections. Le reasoning extraction vise précisément ces étapes, pas la réponse.

Une étude interne sur le transfert de capacités cyber donne la mesure du phénomène. Un modèle étudiant affiné sur des traces exactes a généralement battu un modèle entraîné sur des résumés de raisonnement après l'affinage supervisé. Il gardait l'avantage au budget d'inférence le plus élevé, après un passage léger d'apprentissage par renforcement, alors que l'étudiant formé sur résumés menait aux budgets plus faibles.

La conclusion pratique est simple: les traces ne servent pas seulement à expliquer une réponse. Elles sont le travail lui-même.

Les quatre couches de défense d'OpenAI

La première couche est l'entraînement adverse. Le modèle apprend à reconnaître une tentative d'extraction et à la refuser, plutôt qu'à coopérer puis à se faire filtrer.

La deuxième couche filtre l'entrée. Des classificateurs repèrent les requêtes qui ressemblent à une demande de reproduction de raisonnement.

La troisième filtre la sortie. Elle couvre les messages de l'assistant et les arguments des appels d'outils, en flux et hors flux. C'est la partie la plus technique, et la plus utile: un attaquant peut extraire beaucoup par un outil mal surveillé.

La quatrième couche est côté API. Le raisonnement est lié à l'historique de conversation qui l'a produit, il est supprimé si un message antérieur est réécrit, et les anciennes familles de modèles, moins protégées, ne peuvent plus lire le raisonnement de GPT-6.2 Astra ni celui de Sol.

Des milliers de comptes bannis chaque semaine

Les défenses par requête ne suffisent pas face à des campagnes organisées. Que reste-t-il à un attaquant patient ? Des comptes neufs, des proxys, et du temps. OpenAI dit enquêter sur les comptes derrière des tentatives coordonnées, sanctionner le réseau et non le compte isolé, partager des indicateurs de compromission avec d'autres fournisseurs.

Le volume donne l'échelle: des bannissements allant de quelques milliers à plusieurs dizaines de milliers de comptes par semaine, avec un rythme nettement en hausse depuis l'été. Aucun chiffre plus précis n'est publié.

DeepSeek, Moonshot et le dossier sécurité nationale

OpenAI rattache l'affaire à la sécurité nationale, et c'est ce qui en fait aussi un sujet politique. L'entreprise rappelle avoir briefé le Congrès en février sur des activités indiquant que DeepSeek tentait de distiller des modèles américains de frontière.

En septembre, elle a annoncé avoir démantelé une campagne d'extraction de raisonnement, en attribuant une part centrale à des personnes liées à Moonshot AI, le développeur de Kimi. La formulation compte: des individus associés, pas l'entreprise elle-même, et aucune sanction annoncée.

OpenAI dit soutenir trois textes: le Chip Security Act, l'AI OVERWATCH Act et le MATCH Act. Ce sont des projets de loi, pas du droit en vigueur. L'entreprise demande aussi une législation donnant au gouvernement américain plus d'outils pour identifier et sanctionner les acteurs étrangers qui extraient des capacités.

Ce que ces chiffres ne prouvent pas

Trois limites méritent d'être posées noir sur blanc. Les évaluations sont menées par l'entreprise sur ses propres modèles, avec six attaquants choisis par elle. Les résultats mesurent la résistance à des attaques simulées, pas l'ampleur du vol dans le monde réel. Aucun audit indépendant n'a reproduit les taux publiés.

Le contexte de l'industrie nuance aussi la victoire. The Decoder rapporte qu'Anthropic mène un combat parallèle, avec des dizaines de milliers de comptes bannis et un taux de réussite annoncé entre 90 % et 99 %, et appelle à une réponse coordonnée des entreprises et des régulateurs.

Ce qu'OpenAI demande aux autres développeurs de copier

La partie la plus transposable du billet n'est pas un chiffre, c'est une méthode. OpenAI recommande de protéger le raisonnement sur toute la durée de l'interaction, y compris dans les arguments d'outils, de conserver les journaux des attaques réussies comme tests de non-régression, et de combiner les mesures par requête avec une application au niveau des campagnes.

Les entreprises européennes qui construisent sur des API américaines héritent de ces règles sans les négocier. C'est là que le sujet cesse d'être une affaire entre laboratoires: la protection du raisonnement devient une clause de contrat, et une clause de contrat se lit avant de signer.

Partager cet article

Sources

Actualités liées à l’IA

Une grille de réseau cyan avec une case mise en évidence, à côté des mots Lattice Standard Model
Recherche

GPT-6 Astra fait un pas vers le Modèle Standard sur réseau

La note d'OpenAI du 15 novembre ne règle pas un problème ouvert depuis cinquante ans. Elle propose une définition candidate, avec une preuve, trois relecteurs et deux questions laissées ouvertes.

Popularité : 1,500
Une grille de puces verte avec une cellule en surbrillance et une courbe de signal à côté des mots Blackwell fingerprints
Recherche

Un chercheur a retrouvé des traces de Blackwell dans six modèles chinois

Un ancien chercheur d'OpenAI dit avoir trouvé, dans les poids de six modèles chinois, la trace du matériel qui les a initialisés. La technique est vérifiable, reproductible, et elle ne prouve pas une violation des règles d'exportation. C'est justement ce qui la rend intéressante.

Popularité : 1,250
Antenne relais envoyant des arcs de signal au-dessus d'une grille d'appareils connectés
Recherche

Les outils 6G de Nvidia passent le million de téléchargements

Un an après l'ouverture de ses logiciels radio, Nvidia compte plus d'un million de téléchargements et des milliers d'institutions. Les résultats publiés cette semaine viennent de laboratoires extérieurs, pas de ses propres bancs d'essai.

Popularité : 1,275
Fenêtre de terminal remplie de lignes de commande avec une clé qui glisse hors du cadre
Recherche

Claude Code : le bouton « don't ask again » a écrit des clés en clair

Un audit d'Apiiro montre comment une case d'approbation a transformé des commandes shell en règles permanentes, identifiants compris. Le fichier concerné, lui, voyage avec le projet.

Popularité : 1,379