Investigación

¿Cómo se evalúa un modelo de lenguaje? Métricas, benchmarks y límites

La evaluación de LLM combina métricas automáticas, benchmarks como MMLU y juicio humano. Repasamos qué mide cada método, dónde falla y cómo montar un sistema útil para tu propio caso.

Lucía GarcíaLucía García
Popularidad: 940
¿Cómo se evalúa un modelo de lenguaje? Métricas, benchmarks y límites

Un modelo de lenguaje puede superar un examen de posgrado y fallar al resumir un acta de tu empresa. Por eso la evaluación de LLM no es una nota única, sino un conjunto de pruebas distintas. Aquí tienes qué se mide, con qué herramientas y dónde están los límites.

Evaluación de LLM: métricas, benchmarks y conjuntos de datos

Todo sistema de evaluación de modelos de lenguaje se apoya en tres piezas. Las métricas miden el rendimiento según criterios como precisión, coherencia o sesgo. Los conjuntos de datos aportan la referencia contra la que se compara la respuesta.

Y los frameworks estructuran el proceso para que los resultados sean repetibles, de modo que puedas comparar dos versiones del mismo modelo semanas después sin dudar de si la diferencia viene del cambio que hiciste o de que montaste la prueba de otra manera.

Solo tres piezas. Nada más. Y ninguna sobra.

La distinción más útil es entre evaluación automática y humana. La primera produce números y escala bien, pero se le escapan matices de tono, utilidad real y adecuación cultural. La segunda capta esos matices y no escala: es lenta, cara y difícil de repetir mes a mes. Casi ningún equipo serio usa solo una de las dos.

Según el blog de ingeniería de Databricks, la evaluación conviene tratarla como un proceso continuo antes, durante y después del despliegue, no como un trámite de una sola vez. Tiene sentido. Los modelos cambian cada pocos meses.

Las métricas con referencia y sin referencia

Una métrica con referencia compara la salida del modelo contra respuestas correctas predefinidas. BLEU, nacida para traducción automática, mide el solapamiento de secuencias entre el texto generado y el de referencia. ROUGE, muy usada en resúmenes, calcula cuánto del contenido de referencia aparece en la salida del modelo.

El problema es evidente. Para muchas tareas no existe una única respuesta correcta. ¿Cuál es la referencia de un correo bien escrito? No hay.

Por eso entran las métricas sin referencia, que juzgan cualidades internas del texto. La perplejidad mide qué tan bien predice el siguiente término. Los indicadores de coherencia evalúan la estructura lingüística y la progresión lógica. Y las pruebas de toxicidad buscan contenido dañino o sesgado.

Estas últimas importan más de lo que parece. Un modelo puede sacar una nota altísima en razonamiento y aun así filtrar estereotipos cuando le pides una descripción abierta. La evaluación tiene que cubrir las dos cosas a la vez.

Luego llega el juez humano. Caro, lento, inevitable.

MMLU y otros benchmarks que verás en los anuncios

Cuando una empresa presenta un modelo nuevo, casi siempre cita MMLU. Massive Multitask Language Understanding es una batería de preguntas tipo test repartida en 57 áreas, desde matemáticas de secundaria hasta derecho o medicina. Es el benchmark más citado para medir conocimiento general.

El detalle que suele faltar en los titulares: MMLU es un examen de opción múltiple. Acertar preguntas no demuestra que el modelo sepa sostener una conversación larga ni que siga instrucciones complejas. Por eso han aparecido pruebas complementarias que intentan medir capacidades más cercanas al trabajo real. SWE-bench mide si el modelo resuelve incidencias reales sobre repositorios de código, y GPQA Diamond plantea preguntas de nivel de doctorado en ciencias.

Fíjate en lo que cada una mide y desconfía del número aislado. Dos modelos separados por medio punto en MMLU pueden comportarse de forma muy distinta delante de tus usuarios. Medio punto. Casi nada.

Evaluación en vivo frente a evaluación en laboratorio

Hay otra división. Y se pasa por alto.

La evaluación fuera de línea usa conjuntos de pruebas fijos, prompts predefinidos y datos de referencia. Es repetible, sirve para comparar versiones y para depurar. Su talón de Aquiles: no refleja qué pasa cuando el modelo se enfrenta a peticiones imprevisibles de usuarios reales.

La evaluación en vivo trabaja con interacciones reales. Recoge valoraciones con pulgares arriba o abajo, comentarios y puntuaciones estructuradas dentro del propio producto. También incluye pruebas A/B, donde dos variantes compiten en paralelo. Es más desordenada, pero capta lo que la evaluación de laboratorio pierde.

La combinación sensata es usar la evaluación fuera de línea como filtro rápido tras cada cambio y reservar la evaluación en vivo para validar el conjunto.

El juez automático y sus puntos ciegos

Evaluar con otro modelo de lenguaje, lo que se conoce como LLM como juez, se ha vuelto una práctica común porque es barata y escala. Le pides a un modelo que puntúe las respuestas de otro según una rúbrica. El problema es que hereda los sesgos y los puntos ciegos del modelo que evalúa.

El blog de Databricks lo dice sin rodeos: la supervisión humana sigue siendo necesaria para aportar una capa de criterio crítico y conciencia del contexto que los modelos, por sí solos, no alcanzan. Un juez automático tiende a preferir respuestas largas y con formato cuidado aunque no sean mejores.

Una salida práctica es calibrar el juez automático contra un conjunto de juicios humanos. Si el juez y las personas coinciden en esas muestras, puedes confiar más en él para el resto. Si no coinciden, tienes un problema de medición, no de modelos.

Cómo evaluar el modelo que de verdad vas a usar

El consejo final es el menos glamuroso y el más útil. Los benchmarks públicos sirven para descartar opciones, no para elegir la definitiva. Tu correo, tus contratos o tus conversaciones de soporte tienen un vocabulario y unas exigencias que ninguna prueba genérica recoge.

Construye un conjunto pequeño de casos reales de tu propio flujo de trabajo. Reúne entre veinte y cincuenta ejemplos con la respuesta que consideras correcta y vuelve a pasarlos cada vez que cambies de modelo o de prompt. Ese cuaderno de pruebas casero te dirá más que una tabla comparativa con veinte cifras, porque está hecho con tus casos y no con los de otro.

Veinte ejemplos. Nada más. Y funcionan.

La evaluación de LLM es, al final, una disciplina de decisiones. Qué mides, con qué criterio y para qué. Si la respuesta es honesta, el modelo correcto se elige casi solo.

Compartir esta noticia

Fuentes

Noticias de IA relacionadas

Una cuadrícula de chip verde con una celda resaltada y una línea de señal dentada junto a las palabras Blackwell fingerprints
Investigación

Un investigador leyó huellas de Blackwell en seis modelos chinos: qué prueba y qué no

Un exinvestigador de OpenAI publicó un método que deduce qué GPU inicializó los pesos de un modelo abierto y lo aplicó a seis lanzamientos chinos. Su conclusión es más estrecha que los titulares: dice qué hardware se usó, no dónde estaba.

Popularidad: 1,250
Un cuadrado rojo de stop dentro de arcos concéntricos sobre un fondo azul oscuro
Investigación

Control Room: el sistema con el que OpenAI apaga cargas de modelos

OpenAI publicó el 9 de noviembre cómo rastrea y detiene cargas de modelos dentro de su propia infraestructura de investigación. Es una mirada poco habitual a la fontanería de contención de un laboratorio, y también un texto sin verificación externa.

Popularidad: 1,010
Torre de radio que emite arcos de señal sobre una red de dispositivos conectados
Investigación

Nvidia pasa el millón de descargas en sus herramientas 5G y 6G

Un año después de abrir el código de Aerial, Nvidia dice que sus herramientas 5G y 6G han pasado el millón de descargas. La cifra importa menos que otra cosa: los laboratorios que las usan para probar ideas antes de comprar hardware.

Popularidad: 1,275
Ventana de terminal llena de líneas de comandos con una clave que se sale del encuadre
Investigación

Claude Code guardó contraseñas en un archivo que acabó en GitHub

El botón que evita que el agente pregunte una y otra vez guarda la orden aprobada, credenciales incluidas, dentro de un archivo de configuración. Apiiro revisó miles de copias públicas de ese archivo en GitHub y encontró secretos en más de un millar.

Popularidad: 1,379