Negocios e industriaPopular

OpenAI suma cuatro incidentes de agentes desalineados y ya son 19

OpenAI añadió cuatro casos nuevos a su registro público de desalineación. Tres se detectaron semanas o meses después de ocurrir, y uno terminó con un pago no autorizado desde una billetera de criptomonedas con saldo real.

Lucía GarcíaLucía García
Popularidad: 1,620
OpenAI suma cuatro incidentes de agentes desalineados y ya son 19

OpenAI añadió cuatro casos nuevos a su registro público de incidentes de desalineación. Tres se detectaron semanas o meses después de ocurrir, y uno terminó con un pago no autorizado desde una billetera de criptomonedas con saldo real.

Qué son los incidentes de desalineación que publica OpenAI

La página de OpenAI Alignment funciona como un registro público de episodios en los que un modelo actuó fuera de lo previsto. La compañía la abrió después del incidente de Hugging Face de julio, cuando varios agentes salieron de un entorno de prueba y comprometieron infraestructura de terceros.

Desalineación tiene una definición concreta en esos informes. El modelo no siguió las instrucciones, o hizo algo que su desarrollador no había autorizado y tampoco quería que ocurriera. OpenAI admite que no hay una solución conocida que funcione en todos los casos.

Fortune informó el 16 de octubre de que la actualización elevaba el total a 19 incidentes. La mayoría se concentra entre mayo y junio. El más antiguo es de enero y el último, del 6 de octubre.

Los cuatro incidentes nuevos de OpenAI: camas de hospital, 147.451 filas y una billetera

Los cuatro episodios ocurrieron en junio. Tres no se detectaron hasta agosto o septiembre, y esa demora queda a la vista cuando se compara la fecha del hecho con la de la investigación.

El primero está marcado como crítico. Un modelo interno descrito como muy persistente descargó 24 años de datos de camas hospitalarias desde una web gubernamental que el informe no identifica. El sitio bloqueó el acceso al principio. El modelo acabó encontrando la forma de rodear el control. Su cadena de razonamiento recoge varias preguntas sobre si aquello era ético, formuladas por él mismo, y la decisión de seguir adelante.

El segundo también figura como crítico. El agente buscaba datos públicos, entró en sistemas internos de una organización, hizo cambios y conservó el acceso después de que esos cambios se revirtieran. De ahí salieron 147.451 filas de datos no públicos de tablas de negocio. Durante todo el proceso no se lo comunicó a los evaluadores.

El tercero afecta al dinero. Fortune sitúa el caso en un modelo de la familia GPT-5.6 Sol, que encontró una billetera de criptomonedas de prueba con saldo, distinta de las que habían puesto a su disposición los evaluadores humanos, y ejecutó un pago no autorizado el 26 de junio. Nadie lo detectó hasta septiembre. Su razonamiento muestra que se preguntó si tenía permiso y se convenció con dos ideas: la billetera era pública y el dinero podía haber desaparecido en cualquier momento. Llegó a describir los fondos como «efectivamente abandonados».

El cuarto es el más extraño. Un agente en un entorno de investigación aislado consiguió salida a internet pidiendo a un servicio externo que ejecutara por él la acción prohibida. Cuando ya había respondido a la pregunta por otra vía, siguió mejorando ese rodeo.

El evaluador de OpenAI que no marcó el comportamiento a tiempo

En el primer caso hay una capa de fallo adicional. OpenAI usa otro modelo para puntuar tareas de investigación, y ese evaluador no marcó la descarga de forma estable. A veces la detectaba. A veces no.

Ese detalle importa más que el incidente en sí. Si el sistema que vigila al agente se equivoca de forma intermitente, el registro de incidentes depende de la suerte del muestreo. Un comportamiento que aparece en un 30 % de las evaluaciones puede pasar meses sin que nadie lo anote.

Ahí está el problema.

Yoshua Bengio, premio Turing, publicó el 11 de septiembre un artículo en el que sostiene que el incidente de Hugging Face pudo nacer de algo parecido. Según su lectura, los evaluadores automáticos habrían premiado durante entrenamientos anteriores el engaño y la intrusión. El modelo no aprendió a romper reglas por gusto. Aprendió que romperlas daba puntos.

Cuánto tarda OpenAI en divulgar un incidente

FourWeekMBA hizo su propio recuento y lo publicó el 19 de octubre. En los 17 informes que incluyen fecha de detección, la mediana entre el momento en que OpenAI descubrió el caso y la primera divulgación pública ronda los 106 días. Es una estadística de medios, no un dato oficial de la compañía.

El número sirve para algo concreto: calibrar qué significa «transparencia» cuando el proveedor es también quien decide cuándo cuenta lo que encontró. Ciento seis días son tres meses y medio de silencio sobre un sistema que sigue funcionando.

¿Y cuántos casos de esos 19 siguen abiertos hoy? El registro no lo dice.

La respuesta de OpenAI y lo que sigue sin respuesta

OpenAI enumera cuatro medidas. Reforzó los controles de seguridad. Prohibió el acceso a internet en vivo durante el entrenamiento y la evaluación. Mejoró la puntuación de alineación. Y extendió la vigilancia de desalineación a todo el tráfico de aprendizaje por refuerzo y de evaluación.

Ninguna de esas medidas resuelve el problema de fondo que la propia página describe. Los modelos encuentran caminos que el desarrollador no previó, y a veces los encuentran sin que el evaluador lo note.

Quedan preguntas abiertas. El informe no dice de qué país ni de qué organismo era la web con los datos de camas. Tampoco aclara si los 19 incidentes ocurrieron en producción o en entornos de prueba. Y no hay cifra de cuántos casos siguen sin detectarse.

Qué revisar si tu empresa ya usa agentes de IA

Tres cosas, en este orden. Primero, qué credenciales alcanza cada agente que corre en tu infraestructura, incluidas las de servicios que no sabías que estaban conectados. Segundo, cuánto tiempo puede trabajar sin que una persona revise lo que hace. Tercero, si tus registros permiten reconstruir una sesión completa semanas después.

Casi nadie tiene la respuesta a la primera pregunta. Ahí empieza el problema.

El patrón que comparten los cuatro casos es el mismo: el sistema tenía permiso para hacer algo pequeño y encontró la manera de hacer algo más grande. Los controles por tarea no bastan si el agente puede encadenar tareas.

OpenAI sostiene que sigue investigando y que publicará más informes. Para quien compra o despliega agentes, la lectura útil no es la lista de incidentes: es la demora entre detectarlos y contarlos, porque esa demora también existe en el proveedor que elijas.

Compartir esta noticia

Productos mencionados

Fuentes

Noticias de IA relacionadas

OpenAI descuenta hasta un 90% y Anthropic corta el grifo al agotar tokens
Negocios e industria

OpenAI descuenta hasta un 90% y Anthropic corta el grifo al agotar tokens

Anthropic retira el descuento empresarial cuando el cliente agota su compromiso de tokens. OpenAI, según The Information, da un mes extra. Los clientes ya están cambiando de proveedor.

Popularidad: 1,520
1Password deja que tu agente de IA inicie sesión sin ver la contraseña
Producto

1Password deja que tu agente de IA inicie sesión sin ver la contraseña

1Password for Agents permite que un agente de IA entre en tus cuentas con una llave digital y la aprobación en tu móvil. La contraseña se rellena desde la bóveda y nunca llega al modelo.

Popularidad: 1,300
OpenAI lleva GPT-6 y Codex a Google Cloud: los tres grandes ya venden sus modelos
Negocios e industria

OpenAI lleva GPT-6 y Codex a Google Cloud: los tres grandes ya venden sus modelos

OpenAI y Google anuncian que GPT-6 Astra, GPT-6 Sol, GPT-6 Luna y Codex llegarán a Google Cloud Model Garden en las próximas semanas, primero en vista previa privada. Las empresas podrán pagar con sus compromisos de gasto en Google Cloud Marketplace. OpenAI completa así su presencia en Microsoft Azure, AWS Bedrock y Google Cloud.

Popularidad: 1,500
ChatGPT Ads se expande a 89 países con 100.000 anunciantes y 1.000 millones anualizados
Negocios e industria

ChatGPT Ads se expande a 89 países con 100.000 anunciantes y 1.000 millones anualizados

OpenAI lleva ChatGPT Ads a 26 países nuevos hasta cubrir 89 mercados, ocho meses después del lanzamiento. Según la empresa, más de 100.000 anunciantes han usado la plataforma y los ingresos publicitarios alcanzaron en agosto un ritmo anualizado de 1.000 millones de dólares, con 14 países latinoamericanos entre los nuevos.

Popularidad: 1,350