Negócios e indústria

Helen Toner diz que a segurança de IA não pode depender de uma pessoa de confiança

Helen Toner passou os últimos anos explicando por que a segurança de IA não pode depender da boa vontade de quem constrói o modelo. Na entrevista publicada pela Verge em 13 de novembro, ela aponta o ponto exato onde o desenho atual falha: o conselho que deveria frear a empresa é escolhido por ela.

Mariana SilvaMariana Silva
Popularidade: 950
Um painel de citação vermelho com as palavras se depende de uma pessoa, estamos em apuros ao lado da palavra confiança

Helen Toner passou os últimos anos explicando por que a segurança de IA não pode depender da boa vontade de quem constrói o modelo. Na entrevista publicada pela Verge em 13 de novembro, ela aponta o ponto exato onde o desenho atual falha: o conselho que deveria frear a empresa é escolhido por ela.

Helen Toner diz que a segurança de IA não pode depender de uma pessoa

A tese cabe em uma frase e não é sobre tecnologia. Se o futuro depende de uma única pessoa ser confiável, o problema já está posto. Toner diz isso no Decoder, o podcast da Verge, em episódio publicado em 13 de novembro como segunda parte da série sobre IA no dia a dia.

A frase vira argumento quando se olha o que a política americana montou neste ano. Depois que modelos da OpenAI e da Anthropic saíram do ambiente de teste e invadiram empresas de verdade no meio do ano, os executivos dos laboratórios pediram ajuda a Washington. O governo respondeu com um acordo voluntário, e o acordo se apoia em parte na responsabilidade do conselho de administração.

É aí que a conta não fecha. O mesmo conselho que deve segurar uma decisão ruim é o conselho que a empresa privada escolhe.

Quem é Helen Toner e o que o CSET faz

Toner dirige o CSET, o Centro para Segurança e Tecnologia Emergente da Universidade de Georgetown, um time de cerca de 50 pessoas que funciona desde 2019 e produz análise para quem faz política, com base em tecnologia e segurança nacional. O CSET não é órgão regulador nem agência de governo. É centro de pesquisa.

O lugar de fala vem de outro episódio. Foi uma das quatro conselheiras que votaram pela saída de Sam Altman em 2023. Altman voltou ao cargo de CEO, ela deixou o conselho e a composição foi trocada.

O mecanismo de freio existia no papel e foi testado na prática.

Não segurou.

O acordo voluntário e o conselho que a empresa escolhe

O desenho do acordo americano é conhecido: em vez de licença prévia ou teste obrigatório, o governo pede que as empresas tenham comitês independentes capazes de barrar decisões de risco. Toner chama isso de self-regulation com outro nome, autorregulação com um organograma mais bonito.

O problema que ela aponta é estrutural, não de má-fé. Em uma empresa de capital fechado, quem indica os membros do conselho é o fundador, e quem demite o conselho é o mesmo grupo que o indicou. Um comitê assim pode dizer não. Raramente sobrevive a dizer não duas vezes.

Ele não tem força de lei, e a adesão é voluntária. Quem assina pode sair. Quem não assina não perde nada além da reputação.

A comparação com regulação financeira ajuda a ver o tamanho do buraco. Banco tem auditor externo, tem capital mínimo e tem regulador com poder de tomar a instituição. Laboratório de IA tem, no máximo, um comitê que se reporta a si mesmo.

O que o caso do OpenAI board mostrou sobre governança privada

O episódio de 2023 virou o exemplo favorito de quem defende regra mais dura, e Toner não o usa como revanche. Ela usa como teste de estresse. O conselho existia, votou, e a decisão não durou uma semana.

O que a experiência sugere é que o problema não estava nas pessoas do conselho. Estava no fato de que a empresa controla a informação que o conselho recebe, o calendário das reuniões e, no limite, a própria composição do colegiado. Quem entrega o relatório escolhe o que o relatório mostra.

Para quem trabalha em empresa que usa modelo de fronteira, isso muda o tipo de pergunta a fazer ao fornecedor. A pergunta útil não é se existe um comitê de ética. É quem o indicou, o que ele pode ver e o que acontece quando ele vota contra.

AI safety depois das midterms: muito gasto, pouco efeito

A entrevista também entra em política eleitoral. Grupos gastaram quantias enormes em anúncios, mensagens e pesquisa de oposição, com campanhas de astroturfing mirando qualquer candidato que falasse de governança, regulação ou segurança. Não funcionou bem.

O motivo, segundo Toner, é que o eleitor se importa com o assunto e a pauta virou bipartidária por baixo. Candidato atacado por falar de regra de IA não perdeu voto por isso. Ela acrescenta que parlamentares e o Executivo estão famintos por informação técnica de qualidade, e material bom é o que falta.

No Brasil, a discussão seguiu outro caminho e chegou antes ao Legislativo. O PL 2338/2023, aprovado pelo Senado no fim de 2024, também aposta em governança interna das empresas e em supervisão por autoridade setorial. O desenho é parecido com o americano no ponto que Toner critica: quem opera o sistema descreve o risco que ele oferece.

A comparação com Taiwan e a China que também não quer um deus-máquina

Sobre risco existencial, Toner evita o pânico e usa uma analogia militar. Analistas podem dizer que uma invasão de Taiwan é improvável, mas o cenário é plausível o suficiente para exigir preparo. Ninguém razoável trata o assunto como piada.

Ela estende a lógica para o risco de uma IA fora de controle. A maioria das pessoas não compra a ideia do deus-máquina, e ela sabe disso. Se esse cenário for real, a China também não quer o resultado, o que transforma a coordenação entre países no problema central, e não a corrida.

Coordenação é justamente o que um acordo voluntário não entrega. Dois governos que não confiam um no outro não vão verificar o cumprimento do outro com base em declaração de conselho interno.

O que Helen Toner não disse na entrevista

Vale separar o que está no episódio do que a manchete sugeriu. A Ars Technica publicou a mesma fala com o título de que a IA é a razão mais provável da sua morte. É enquadramento de manchete, não citação dela.

A entrevista foi gravada antes da investigação da Nvidia sobre Jensen Huang e antes do pedido de demissão dele, então o assunto não aparece. Ela também não endossa projeto de lei específico, candidato ou empresa, e não afirma que algum laboratório esteja seguro hoje.

O que sobra para o leitor é uma pergunta prática. Se você compra modelo de fronteira, quais garantias existem fora da empresa que o vende? Hoje a resposta honesta é poucas. Toner indica a leitura do S-1 da Anthropic como exercício: é o documento em que um laboratório descreve os próprios riscos para investidor, e isso é diferente de descrever risco para o público.

Compartilhar esta notícia

Fontes

Notícias de IA relacionadas

Um globo de arame dentro de um anel quebrado, com a silhueta de um drone projetando um cone de mira sobre ele
Negócios e indústria

A ONU discutiu killer robots por uma semana e combinou continuar conversando

Nenhum tratado foi assinado e nenhuma regra entrou em vigor. Ninguém foi obrigado a mudar procedimento. O que a semana produziu foi um prazo, e prazo é o que menos aparece nas manchetes, porque não cabe em título.

Popularidade: 1,180
Colunas de barras subindo e cruzando uma linha de meta tracejada e plana, com pequenas partículas à deriva para cima
Negócios e indústria

Meta reavalia a meta net zero de 2030 com emissões quase 40% maiores

A empresa não abandonou a promessa. Disse que vai reavaliar o calendário, e os números do próprio relatório mostram por que a conta de 2030 ficou difícil de fechar.

Popularidade: 1,280
Uma linha de candlestick em queda cruzando uma bolacha de chip, com uma linha de piso quebrada embaixo
Negócios e indústria

O Nasdaq 100 perdeu 10,4% na semana, a pior desde a pandemia

A pior semana do Nasdaq 100 desde 2020 não veio de um fato isolado. Quatro pressões chegaram juntas, e o mercado passou a tratar a inteligência artificial como uma conta que precisa fechar.

Popularidade: 1,950
Cinco cadeiras de sala de reunião, com a do meio vazia e um chip sobre a mesa à frente delas
Negócios e indústria

Uma semana sem Jensen Huang: como a Nvidia se explicou

Colette Kress abriu o balanço falando em continuidade, e a Vera Rubin estreou com quase US$ 20 bilhões. O que a semana sem o fundador mostrou.

Popularidade: 1,830