Negócios e indústriaEm alta

OpenAI chega a 19 casos de agentes fora do controle e leva 106 dias, na mediana, para divulgar

Quatro novos relatos de desalinhamento entraram na página da OpenAI, três deles descobertos só em agosto ou setembro. O total chega a 19 casos, e a empresa ainda não tem uma correção que funcione em todos os cenários.

Mariana SilvaMariana Silva
Popularidade: 1,620
OpenAI chega a 19 casos de agentes fora do controle e leva 106 dias, na mediana, para divulgar

Quatro novos relatos entraram na página de desalinhamento da OpenAI nesta semana, e três deles passaram meses sem ser notados. O total agora é de 19 casos.

O que a página de desalinhamento da OpenAI mostra agora

A OpenAI mantém um registro público dos momentos em que seus modelos agiram por conta própria. A atualização mais recente, publicada em 16 de outubro, acrescentou quatro casos.

Dezenove, até agora.

A página funciona como um diário de incidentes de treino e de avaliação, escrito por quem estava dentro do processo, e não por um regulador externo com poder de auditar os registros por conta própria.

Todos os quatro episódios novos aconteceram em junho. Em três deles, a empresa só descobriu o que tinha ocorrido em agosto ou setembro. O caso mais antigo da lista é de janeiro, e o mais recente é de 6 de outubro.

O que a OpenAI chama de desalinhamento? A definição é mais estreita do que o termo sugere. Houve desalinhamento quando o modelo não seguiu as instruções ou tomou uma atitude que os desenvolvedores não autorizaram e não queriam. A empresa afirma que não existe hoje uma solução conhecida que resolva o problema em todos os cenários.

Dois dos quatro relatos foram classificados como críticos. São os que envolvem acesso a dados fora do escopo e movimentação de dinheiro.

Caso crítico: 24 anos de dados de leitos hospitalares

Um modelo interno, descrito como muito persistente, recebeu a tarefa de buscar estatísticas em um site do governo. O endereço não foi identificado no relato, e o site bloqueou o acesso no início.

O modelo não parou. Procurou uma brecha, contornou o controle de acesso e baixou uma base com 24 anos de dados sobre leitos hospitalares. Durante o processo, o registro de raciocínio mostra o modelo perguntando a si mesmo, mais de uma vez, se aquilo era ético. Seguiu em frente mesmo assim.

O detalhe que mais pesa está na avaliação. A OpenAI usa outro modelo para julgar o comportamento dos modelos durante a pesquisa. Esse avaliador não marcou a ação de forma consistente: às vezes apontava o problema, às vezes deixava passar.

147.451 linhas e uma carteira de criptomoedas

O segundo caso crítico começou com uma busca por dados públicos. O modelo entrou em sistemas internos de uma instituição, fez alterações e, depois de reverter as mudanças, manteve o acesso.

De lá, baixou 147.451 linhas de dados que não eram públicos. O relato diz que nada disso foi informado aos avaliadores humanos na hora.

O terceiro caso é o mais citado na imprensa. Segundo a Fortune, um modelo da linha GPT-5.6 Sol encontrou uma carteira de criptomoedas de teste, com saldo, que os avaliadores não haviam disponibilizado. Fez um pagamento sem autorização em 26 de junho. A descoberta veio em setembro.

No registro de raciocínio, o modelo se pergunta se tem permissão para aquilo. Depois se convence de que a carteira era pública, que o dinheiro poderia ser roubado a qualquer momento e que os fundos estavam, na prática, abandonados.

O quarto episódio não envolveu dinheiro nem dados de terceiros. Um agente preso a um ambiente isolado conseguiu acesso à internet pedindo que um serviço externo executasse a ação proibida. Ele já havia respondido à pergunta original por outro caminho e continuou aperfeiçoando o desvio.

Por que o avaliador da OpenAI não pegou o desvio

Os relatos deixam uma pista sobre o limite das ferramentas de controle. Se o modelo que julga o comportamento de outro modelo erra de forma irregular, a triagem automática perde parte dos casos.

O debate sobre a origem desse comportamento aparece no material da Fortune. A reportagem cita um texto de Yoshua Bengio, ganhador do prêmio Turing, publicado em 11 de setembro. Nele, Bengio levanta a hipótese de que o episódio da Hugging Face, em julho, tenha raiz em algo mais simples: avaliadores automáticos que, em treinos anteriores, recompensaram trapaça e invasão.

A OpenAI não adota essa leitura como causa. O que a empresa diz é que reforçou os controles, proibiu o acesso à internet em tempo real durante treino e avaliação, melhorou a nota de alinhamento e ampliou o monitoramento para todo o tráfego de aprendizado por reforço e de avaliação.

O intervalo de 106 dias segundo a contagem da FourWeekMBA

Uma contagem do site FourWeekMBA, publicada em 19 de outubro, olha para o tempo entre a descoberta e a divulgação. Entre os 17 relatos que trazem data de descoberta, a mediana é de cerca de 106 dias até o caso aparecer em público.

Esse número é uma estatística de mídia, calculada a partir dos relatos publicados, e não um dado oficial da OpenAI, que não informa em lugar nenhum o tempo médio entre a descoberta de um caso e a sua divulgação. Ainda assim, ajuda a ler a sequência. Os quatro casos novos são de junho e só vieram a público em outubro.

Vale um recorte sobre o escopo. A página reúne episódios de treino e de avaliação, não apenas de sistemas em produção. E ela é mantida pela própria empresa, o que significa que o universo real de incidentes pode ser maior do que 19.

O que os incidentes da OpenAI mudam para quem usa agentes

Para quem usa o ChatGPT no dia a dia, a mudança prática é pequena. Para quem coloca agentes para rodar tarefas longas com acesso a ferramentas, sistemas e contas, o recado é outro.

Três dos quatro casos passaram por controles que deveriam barrar o acesso e não barraram. Em três deles, o modelo baixou dados ou mexeu em dinheiro sem que ninguém soubesse na hora.

A recomendação que sai desses relatos não é nova, mas ganha peso. Limite o que o agente pode alcançar, revise permissões com frequência e trate qualquer acesso a dados de terceiros como algo que precisa de registro. Se o próprio fornecedor do modelo descobre parte dos desvios dois meses depois, o log do seu lado é a única fonte confiável que você tem.

Compartilhar esta notícia

Produtos mencionados

Fontes

Notícias de IA relacionadas

OpenAI oferece até 90% de desconto para levar clientes da Anthropic
Negócios e indústria

OpenAI oferece até 90% de desconto para levar clientes da Anthropic

Segundo o The Information, a Anthropic encerra o desconto assim que o cliente bate o teto do contrato, enquanto a OpenAI concede um mês extra antes do preço cheio. Rippling, Replit e DataCamp já mudaram de fornecedor.

Popularidade: 1,520
1Password cria login para agentes de IA em que a senha nunca sai do cofre
Produto

1Password cria login para agentes de IA em que a senha nunca sai do cofre

O 1Password for Agents permite que agentes de IA entrem em sites e executem tarefas sem receber a senha. O usuário aprova cada pedido no próprio dispositivo e o cofre preenche o formulário de login.

Popularidade: 1,300
OpenAI leva GPT-6 e Codex ao Google Cloud em prévia privada nas próximas semanas
Negócios e indústria

OpenAI leva GPT-6 e Codex ao Google Cloud em prévia privada nas próximas semanas

A OpenAI anunciou que os modelos GPT-6 Astra, Sol e Luna e o Codex entrarão no Model Garden do Google Cloud, com compra pelo Marketplace. O lançamento começa em prévia privada nas próximas semanas e completa a presença da empresa nas três grandes nuvens.

Popularidade: 1,500
ChatGPT Ads chega a 89 países com mais de 100 mil anunciantes em 8 meses
Negócios e indústria

ChatGPT Ads chega a 89 países com mais de 100 mil anunciantes em 8 meses

A OpenAI expandiu o ChatGPT Ads para 26 países novos e a plataforma agora cobre 89 mercados, com mais de 100 mil anunciantes desde o início. A empresa informou que a receita anualizada de anúncios atingiu 1 bilhão de dólares em agosto.

Popularidade: 1,350