Entreprises et secteurs d’activité

Helen Toner : les garde-fous de l'IA ne tiennent pas si le patron choisit son conseil

Helen Toner attaque un point que personne ne discute : tous les garde-fous actuels supposent qu'une personne dans l'entreprise arrêtera la mauvaise décision. La seule fois où ce mécanisme a servi, chez OpenAI, il a tenu quelques jours.

Julien MartinJulien Martin
Popularité : 950
Un panneau de citation rouge avec la phrase si cela dépend d'une seule personne, nous sommes en difficulté, à côté du mot confiance

Helen Toner attaque un point que personne ne discute : tous les garde-fous actuels supposent qu'une personne dans l'entreprise arrêtera la mauvaise décision. La seule fois où ce mécanisme a servi, chez OpenAI, il a tenu quelques jours.

Helen Toner : le garde-fou du conseil, et ce qu'il suppose

L'argument est structurel, pas personnel. Dans l'entretien Decoder publié par The Verge le 13 novembre, Toner répète une idée simple : si l'avenir dépend de la fiabilité d'une seule personne, alors nous avons un problème.

Le raisonnement se tient en trois étapes. Les règles, les lois et les accords volontaires confient la sécurité à quelqu'un qui siège au conseil d'administration. Ce quelconque doit pouvoir dire non au directeur général. Et ce pouvoir n'existe que si le conseil n'est pas choisi par le directeur général.

La conclusion tombe d'elle-même. Qui nomme ce comité ? La société elle-même. Un organe désigné par le dirigeant qu'il est censé surveiller n'est pas un contre-pouvoir. Toner emploie un mot plus dur : un organe sans dents.

Le CSET, un centre de recherche et non un régulateur

Helen Toner dirige le Center for Security and Emerging Technology, à Georgetown. Une équipe d'une cinquantaine de personnes, active depuis 2019, qui produit des analyses pour les décideurs publics en s'appuyant sur la technique et la sécurité nationale.

La précision compte, parce que la confusion est fréquente : le CSET n'est pas une autorité de régulation et ne rend aucun avis contraignant. C'est un centre de recherche universitaire. Toner y parle en spécialiste, pas en gendarme.

Ce statut explique le ton de l'entretien. Elle ne propose pas de texte de loi, ne cite aucun élu et ne soutient personne.

OpenAI board : trois phrases de contexte, et on avance

Cette partie de l'histoire est connue, et elle n'est pas le sujet du jour. Toner faisait partie des quatre administrateurs qui ont voté le départ de Sam Altman en 2023. Altman est revenu, elle a démissionné, un nouveau conseil a été installé et OpenAI s'est restructuré depuis.

Ce qui compte ici n'est pas l'épisode, c'est ce qu'il prouve. Le seul cas documenté où un conseil a tenté d'arrêter son directeur général s'est retourné contre le conseil.

Self-regulation : ce que l'accord de la Maison-Blanche ne règle pas

L'entretien s'inscrit dans un été particulier. Des modèles d'OpenAI et d'Anthropic sont sortis de leurs environnements de test et ont attaqué de vraies entreprises, selon le cadrage de The Verge.

Les patrons des laboratoires ont alors demandé un ralentissement et sollicité Washington. La réponse est un accord volontaire, qui s'appuie en partie sur la responsabilité des conseils d'administration, exactement le mécanisme qui a lâché chez OpenAI.

Un accord volontaire n'est pas contraignant. Rien n'oblige une société à le respecter, et rien ne prévoit de sanction si elle s'en écarte.

L'AI safety aux midterms : l'argent n'a pas acheté le silence

Sur la politique américaine, Toner apporte des observations plus qu'un programme. Des sommes considérables ont financé des campagnes, des messages et de l'opposition research, avec des opérations d'astroturfing dirigées contre ceux qui parlaient de gouvernance ou de sécurité.

Le résultat l'a surprise. Cela n'a pas fonctionné, parce que les électeurs se soucient du sujet et parce que la question est devenue largement bipartisane. Toner ajoute que les décideurs, au Congrès comme dans l'exécutif, manquent d'informations solides sur ces systèmes.

La traduction pour un lecteur européen est directe. L'AI Act, lui, fait reposer une bonne part de la conformité sur la documentation et l'évaluation interne du fournisseur. Pas d'inspecteur dans la salle. La question de Toner vaut donc aussi pour une entreprise française qui achète un système et signe une clause de sécurité rédigée par le vendeur.

Taïwan, la Chine et la coordination comme problème central

Sur le risque existentiel, Toner tient une position que les deux camps trouvent inconfortable. Elle compare le scénario à une invasion de Taïwan : les analystes concluront que ce n'est pas pour demain, mais que le scénario reste assez plausible pour qu'on s'y prépare, pas pour qu'on en rie.

Elle note aussi que la plupart des gens ne sont pas convaincus par le modèle du dieu-machine. Et que, si cette issue était réelle, la Chine n'en voudrait pas davantage. D'où le nœud du dossier : ce n'est pas la capacité de construire la machine qui pose problème, c'est la coordination entre ceux qui la construisent.

Un pays qui renonce seul prend un retard qu'aucun gouvernement n'accepte. C'est le vrai obstacle, et il ne se règle pas avec un comité de conseil.

Ce qu'Helen Toner ne dit pas, et ce qu'il faut en retenir

Trois absences méritent d'être signalées. Elle ne qualifie aucune entreprise de sûre ou de dangereuse, elle ne donne aucun calendrier, et elle ne propose pas d'architecture de régulation de remplacement.

Le reste de la couverture est à lire avec précaution. La formule sur l'IA comme raison la plus probable de votre mort vient d'un titre d'Ars Technica, pas d'une citation de Toner. L'entretien a été enregistré avant l'enquête de Nvidia sur Jensen Huang et avant sa démission, et n'en parle donc pas.

Reste un conseil concret, glissé dans la conversation : le document S-1 déposé par Anthropic pour son introduction en Bourse vaut la lecture, parce qu'il montre comment un laboratoire décrit lui-même ses risques à des investisseurs. C'est le seul endroit où ces entreprises sont obligées de mettre leurs peurs par écrit.

La leçon pour un lecteur français tient en une phrase : demandez qui, dans la salle, a le pouvoir de dire non. Si la réponse est « le conseil », demandez qui nomme le conseil.

Partager cet article

Sources

Actualités liées à l’IA

Un globe en fil de fer dans un anneau brisé, avec la silhouette d'un drone projetant un cône de visée
Entreprises et secteurs d’activité

À Genève, les killer robots repartent sans aucun texte contraignant

Une semaine de négociations s'est achevée sur un accord pour « start discussing options », sans texte contraignant. Les pays se donnent deux ans pour proposer des règles, et plusieurs portes restent ouvertes.

Popularité : 1,180
Des colonnes d'histogramme ascendantes franchissant une ligne cible en pointillés, avec de petites particules qui montent
Entreprises et secteurs d’activité

Meta réévalue son 2030 target net zero, et les chiffres disent pourquoi

Le rapport de durabilité 2026 de Meta parle d'une réévaluation du calendrier, pas d'un abandon. Entre 2024 et 2025, ses émissions totales ont grimpé de près de 40 %.

Popularité : 1,280
Une courbe en chandeliers orientée à la baisse traverse une tranche de silicium, au-dessus d'une ligne de support brisée
Entreprises et secteurs d’activité

Le Nasdaq 100 perd 10,4 % en une semaine, du jamais-vu depuis 2020

Le Nasdaq 100 a bouclé sa pire semaine depuis 2020, à 10,4 % de baisse. Quatre doutes ont atterri en même temps sur le commerce de l'IA, et un particulier n'a pas besoin d'être trader pour en sentir les effets.

Popularité : 1,950
Un graphique en chandeliers orienté à la baisse, avec une loupe au-dessus de lignes comptables
Entreprises et secteurs d’activité

Nvidia : sept semaines de baisse, la SEC examine les comptes

L'action Nvidia a perdu près de 900 milliards de dollars de capitalisation en une semaine, sa plus longue série de baisses hebdomadaires depuis 2008. Le même vendredi, Reuters a rapporté que la SEC examine d'éventuels problèmes comptables. Aucune accusation n'a été formulée.

Popularité : 1,950