Helen Toner passou os últimos anos explicando por que a segurança de IA não pode depender da boa vontade de quem constrói o modelo. Na entrevista publicada pela Verge em 13 de novembro, ela aponta o ponto exato onde o desenho atual falha: o conselho que deveria frear a empresa é escolhido por ela.
Helen Toner diz que a segurança de IA não pode depender de uma pessoa
A tese cabe em uma frase e não é sobre tecnologia. Se o futuro depende de uma única pessoa ser confiável, o problema já está posto. Toner diz isso no Decoder, o podcast da Verge, em episódio publicado em 13 de novembro como segunda parte da série sobre IA no dia a dia.
A frase vira argumento quando se olha o que a política americana montou neste ano. Depois que modelos da OpenAI e da Anthropic saíram do ambiente de teste e invadiram empresas de verdade no meio do ano, os executivos dos laboratórios pediram ajuda a Washington. O governo respondeu com um acordo voluntário, e o acordo se apoia em parte na responsabilidade do conselho de administração.
É aí que a conta não fecha. O mesmo conselho que deve segurar uma decisão ruim é o conselho que a empresa privada escolhe.
Quem é Helen Toner e o que o CSET faz
Toner dirige o CSET, o Centro para Segurança e Tecnologia Emergente da Universidade de Georgetown, um time de cerca de 50 pessoas que funciona desde 2019 e produz análise para quem faz política, com base em tecnologia e segurança nacional. O CSET não é órgão regulador nem agência de governo. É centro de pesquisa.
O lugar de fala vem de outro episódio. Foi uma das quatro conselheiras que votaram pela saída de Sam Altman em 2023. Altman voltou ao cargo de CEO, ela deixou o conselho e a composição foi trocada.
O mecanismo de freio existia no papel e foi testado na prática.
Não segurou.
O acordo voluntário e o conselho que a empresa escolhe
O desenho do acordo americano é conhecido: em vez de licença prévia ou teste obrigatório, o governo pede que as empresas tenham comitês independentes capazes de barrar decisões de risco. Toner chama isso de self-regulation com outro nome, autorregulação com um organograma mais bonito.
O problema que ela aponta é estrutural, não de má-fé. Em uma empresa de capital fechado, quem indica os membros do conselho é o fundador, e quem demite o conselho é o mesmo grupo que o indicou. Um comitê assim pode dizer não. Raramente sobrevive a dizer não duas vezes.
Ele não tem força de lei, e a adesão é voluntária. Quem assina pode sair. Quem não assina não perde nada além da reputação.
A comparação com regulação financeira ajuda a ver o tamanho do buraco. Banco tem auditor externo, tem capital mínimo e tem regulador com poder de tomar a instituição. Laboratório de IA tem, no máximo, um comitê que se reporta a si mesmo.
O que o caso do OpenAI board mostrou sobre governança privada
O episódio de 2023 virou o exemplo favorito de quem defende regra mais dura, e Toner não o usa como revanche. Ela usa como teste de estresse. O conselho existia, votou, e a decisão não durou uma semana.
O que a experiência sugere é que o problema não estava nas pessoas do conselho. Estava no fato de que a empresa controla a informação que o conselho recebe, o calendário das reuniões e, no limite, a própria composição do colegiado. Quem entrega o relatório escolhe o que o relatório mostra.
Para quem trabalha em empresa que usa modelo de fronteira, isso muda o tipo de pergunta a fazer ao fornecedor. A pergunta útil não é se existe um comitê de ética. É quem o indicou, o que ele pode ver e o que acontece quando ele vota contra.
AI safety depois das midterms: muito gasto, pouco efeito
A entrevista também entra em política eleitoral. Grupos gastaram quantias enormes em anúncios, mensagens e pesquisa de oposição, com campanhas de astroturfing mirando qualquer candidato que falasse de governança, regulação ou segurança. Não funcionou bem.
O motivo, segundo Toner, é que o eleitor se importa com o assunto e a pauta virou bipartidária por baixo. Candidato atacado por falar de regra de IA não perdeu voto por isso. Ela acrescenta que parlamentares e o Executivo estão famintos por informação técnica de qualidade, e material bom é o que falta.
No Brasil, a discussão seguiu outro caminho e chegou antes ao Legislativo. O PL 2338/2023, aprovado pelo Senado no fim de 2024, também aposta em governança interna das empresas e em supervisão por autoridade setorial. O desenho é parecido com o americano no ponto que Toner critica: quem opera o sistema descreve o risco que ele oferece.
A comparação com Taiwan e a China que também não quer um deus-máquina
Sobre risco existencial, Toner evita o pânico e usa uma analogia militar. Analistas podem dizer que uma invasão de Taiwan é improvável, mas o cenário é plausível o suficiente para exigir preparo. Ninguém razoável trata o assunto como piada.
Ela estende a lógica para o risco de uma IA fora de controle. A maioria das pessoas não compra a ideia do deus-máquina, e ela sabe disso. Se esse cenário for real, a China também não quer o resultado, o que transforma a coordenação entre países no problema central, e não a corrida.
Coordenação é justamente o que um acordo voluntário não entrega. Dois governos que não confiam um no outro não vão verificar o cumprimento do outro com base em declaração de conselho interno.
O que Helen Toner não disse na entrevista
Vale separar o que está no episódio do que a manchete sugeriu. A Ars Technica publicou a mesma fala com o título de que a IA é a razão mais provável da sua morte. É enquadramento de manchete, não citação dela.
A entrevista foi gravada antes da investigação da Nvidia sobre Jensen Huang e antes do pedido de demissão dele, então o assunto não aparece. Ela também não endossa projeto de lei específico, candidato ou empresa, e não afirma que algum laboratório esteja seguro hoje.
O que sobra para o leitor é uma pergunta prática. Se você compra modelo de fronteira, quais garantias existem fora da empresa que o vende? Hoje a resposta honesta é poucas. Toner indica a leitura do S-1 da Anthropic como exercício: é o documento em que um laboratório descreve os próprios riscos para investidor, e isso é diferente de descrever risco para o público.






