Investigación

¿Cómo se evalúa un modelo de lenguaje? Métricas, benchmarks y límites

La evaluación de LLM combina métricas automáticas, benchmarks como MMLU y juicio humano. Repasamos qué mide cada método, dónde falla y cómo montar un sistema útil para tu propio caso.

Lucía GarcíaLucía García
Popularidad: 940
¿Cómo se evalúa un modelo de lenguaje? Métricas, benchmarks y límites

Un modelo de lenguaje puede superar un examen de posgrado y fallar al resumir un acta de tu empresa. Por eso la evaluación de LLM no es una nota única, sino un conjunto de pruebas distintas. Aquí tienes qué se mide, con qué herramientas y dónde están los límites.

Evaluación de LLM: métricas, benchmarks y conjuntos de datos

Todo sistema de evaluación de modelos de lenguaje se apoya en tres piezas. Las métricas miden el rendimiento según criterios como precisión, coherencia o sesgo. Los conjuntos de datos aportan la referencia contra la que se compara la respuesta.

Y los frameworks estructuran el proceso para que los resultados sean repetibles, de modo que puedas comparar dos versiones del mismo modelo semanas después sin dudar de si la diferencia viene del cambio que hiciste o de que montaste la prueba de otra manera.

Solo tres piezas. Nada más. Y ninguna sobra.

La distinción más útil es entre evaluación automática y humana. La primera produce números y escala bien, pero se le escapan matices de tono, utilidad real y adecuación cultural. La segunda capta esos matices y no escala: es lenta, cara y difícil de repetir mes a mes. Casi ningún equipo serio usa solo una de las dos.

Según el blog de ingeniería de Databricks, la evaluación conviene tratarla como un proceso continuo antes, durante y después del despliegue, no como un trámite de una sola vez. Tiene sentido. Los modelos cambian cada pocos meses.

Las métricas con referencia y sin referencia

Una métrica con referencia compara la salida del modelo contra respuestas correctas predefinidas. BLEU, nacida para traducción automática, mide el solapamiento de secuencias entre el texto generado y el de referencia. ROUGE, muy usada en resúmenes, calcula cuánto del contenido de referencia aparece en la salida del modelo.

El problema es evidente. Para muchas tareas no existe una única respuesta correcta. ¿Cuál es la referencia de un correo bien escrito? No hay.

Por eso entran las métricas sin referencia, que juzgan cualidades internas del texto. La perplejidad mide qué tan bien predice el siguiente término. Los indicadores de coherencia evalúan la estructura lingüística y la progresión lógica. Y las pruebas de toxicidad buscan contenido dañino o sesgado.

Estas últimas importan más de lo que parece. Un modelo puede sacar una nota altísima en razonamiento y aun así filtrar estereotipos cuando le pides una descripción abierta. La evaluación tiene que cubrir las dos cosas a la vez.

Luego llega el juez humano. Caro, lento, inevitable.

MMLU y otros benchmarks que verás en los anuncios

Cuando una empresa presenta un modelo nuevo, casi siempre cita MMLU. Massive Multitask Language Understanding es una batería de preguntas tipo test repartida en 57 áreas, desde matemáticas de secundaria hasta derecho o medicina. Es el benchmark más citado para medir conocimiento general.

El detalle que suele faltar en los titulares: MMLU es un examen de opción múltiple. Acertar preguntas no demuestra que el modelo sepa sostener una conversación larga ni que siga instrucciones complejas. Por eso han aparecido pruebas complementarias que intentan medir capacidades más cercanas al trabajo real. SWE-bench mide si el modelo resuelve incidencias reales sobre repositorios de código, y GPQA Diamond plantea preguntas de nivel de doctorado en ciencias.

Fíjate en lo que cada una mide y desconfía del número aislado. Dos modelos separados por medio punto en MMLU pueden comportarse de forma muy distinta delante de tus usuarios. Medio punto. Casi nada.

Evaluación en vivo frente a evaluación en laboratorio

Hay otra división. Y se pasa por alto.

La evaluación fuera de línea usa conjuntos de pruebas fijos, prompts predefinidos y datos de referencia. Es repetible, sirve para comparar versiones y para depurar. Su talón de Aquiles: no refleja qué pasa cuando el modelo se enfrenta a peticiones imprevisibles de usuarios reales.

La evaluación en vivo trabaja con interacciones reales. Recoge valoraciones con pulgares arriba o abajo, comentarios y puntuaciones estructuradas dentro del propio producto. También incluye pruebas A/B, donde dos variantes compiten en paralelo. Es más desordenada, pero capta lo que la evaluación de laboratorio pierde.

La combinación sensata es usar la evaluación fuera de línea como filtro rápido tras cada cambio y reservar la evaluación en vivo para validar el conjunto.

El juez automático y sus puntos ciegos

Evaluar con otro modelo de lenguaje, lo que se conoce como LLM como juez, se ha vuelto una práctica común porque es barata y escala. Le pides a un modelo que puntúe las respuestas de otro según una rúbrica. El problema es que hereda los sesgos y los puntos ciegos del modelo que evalúa.

El blog de Databricks lo dice sin rodeos: la supervisión humana sigue siendo necesaria para aportar una capa de criterio crítico y conciencia del contexto que los modelos, por sí solos, no alcanzan. Un juez automático tiende a preferir respuestas largas y con formato cuidado aunque no sean mejores.

Una salida práctica es calibrar el juez automático contra un conjunto de juicios humanos. Si el juez y las personas coinciden en esas muestras, puedes confiar más en él para el resto. Si no coinciden, tienes un problema de medición, no de modelos.

Cómo evaluar el modelo que de verdad vas a usar

El consejo final es el menos glamuroso y el más útil. Los benchmarks públicos sirven para descartar opciones, no para elegir la definitiva. Tu correo, tus contratos o tus conversaciones de soporte tienen un vocabulario y unas exigencias que ninguna prueba genérica recoge.

Construye un conjunto pequeño de casos reales de tu propio flujo de trabajo. Reúne entre veinte y cincuenta ejemplos con la respuesta que consideras correcta y vuelve a pasarlos cada vez que cambies de modelo o de prompt. Ese cuaderno de pruebas casero te dirá más que una tabla comparativa con veinte cifras, porque está hecho con tus casos y no con los de otro.

Veinte ejemplos. Nada más. Y funcionan.

La evaluación de LLM es, al final, una disciplina de decisiones. Qué mides, con qué criterio y para qué. Si la respuesta es honesta, el modelo correcto se elige casi solo.

Compartir esta noticia

Fuentes

Noticias de IA relacionadas

Curvas espirales concéntricas cruzadas por una línea vertical con puntos brillantes anclados a lo largo de ella
Investigación

Un matemático de Anthropic dice que Claude demostró la hipótesis de Riemann, y Stanford respondió en horas

El anuncio llegó por la web personal de un matemático, no por un comunicado de Anthropic. Horas después, Stanford publicó una demostración humana del mismo problema. Ninguna de las dos está aceptada.

Popularidad: 1,860
Una pila de nodos de agentes unidos por un camino hacia un rack de servidores, con una cerradura y una marca de brecha en el rack
Investigación

Cairn: un AI agent encontró un zero-day y tomó un servidor universitario en 11 minutos

La orden fue una sola frase: obtener acceso al servidor. Los agentes eligieron el cómo, dieron con un fallo desconocido en MONAI Label y dejaron una puerta abierta en 11 minutos.

Popularidad: 1,520
Un embudo que lleva pequeños bloques de tokens de una caja de modelo a otra, con una placa de escudo que bloquea parte del flujo
Investigación

OpenAI reduce el robo de razonamiento del 54% al 0,2%, pero se mide a sí misma

Copiar el razonamiento de un modelo de frontera se ha convertido en un negocio. OpenAI publica sus defensas y dos cifras que bajan mucho, con una advertencia: son sus propias pruebas.

Popularidad: 1,420
Una cuadrícula cian de retícula con un cuadrado resaltado junto al texto Lattice Standard Model
Investigación

OpenAI propone una definición del Modelo Estándar en retícula con GPT-6 Astra

OpenAI publicó el 15 de noviembre un texto sobre una definición no perturbativa del Modelo Estándar sobre una cuadrícula, construida sobre un preprint de octubre. El autor la describe como una respuesta en principio, no en la práctica.

Popularidad: 1,500