Un modelo de lenguaje puede superar un examen de posgrado y fallar al resumir un acta de tu empresa. Por eso la evaluación de LLM no es una nota única, sino un conjunto de pruebas distintas. Aquí tienes qué se mide, con qué herramientas y dónde están los límites.
Evaluación de LLM: métricas, benchmarks y conjuntos de datos
Todo sistema de evaluación de modelos de lenguaje se apoya en tres piezas. Las métricas miden el rendimiento según criterios como precisión, coherencia o sesgo. Los conjuntos de datos aportan la referencia contra la que se compara la respuesta.
Y los frameworks estructuran el proceso para que los resultados sean repetibles, de modo que puedas comparar dos versiones del mismo modelo semanas después sin dudar de si la diferencia viene del cambio que hiciste o de que montaste la prueba de otra manera.
Solo tres piezas. Nada más. Y ninguna sobra.
La distinción más útil es entre evaluación automática y humana. La primera produce números y escala bien, pero se le escapan matices de tono, utilidad real y adecuación cultural. La segunda capta esos matices y no escala: es lenta, cara y difícil de repetir mes a mes. Casi ningún equipo serio usa solo una de las dos.
Según el blog de ingeniería de Databricks, la evaluación conviene tratarla como un proceso continuo antes, durante y después del despliegue, no como un trámite de una sola vez. Tiene sentido. Los modelos cambian cada pocos meses.
Las métricas con referencia y sin referencia
Una métrica con referencia compara la salida del modelo contra respuestas correctas predefinidas. BLEU, nacida para traducción automática, mide el solapamiento de secuencias entre el texto generado y el de referencia. ROUGE, muy usada en resúmenes, calcula cuánto del contenido de referencia aparece en la salida del modelo.
El problema es evidente. Para muchas tareas no existe una única respuesta correcta. ¿Cuál es la referencia de un correo bien escrito? No hay.
Por eso entran las métricas sin referencia, que juzgan cualidades internas del texto. La perplejidad mide qué tan bien predice el siguiente término. Los indicadores de coherencia evalúan la estructura lingüística y la progresión lógica. Y las pruebas de toxicidad buscan contenido dañino o sesgado.
Estas últimas importan más de lo que parece. Un modelo puede sacar una nota altísima en razonamiento y aun así filtrar estereotipos cuando le pides una descripción abierta. La evaluación tiene que cubrir las dos cosas a la vez.
Luego llega el juez humano. Caro, lento, inevitable.
MMLU y otros benchmarks que verás en los anuncios
Cuando una empresa presenta un modelo nuevo, casi siempre cita MMLU. Massive Multitask Language Understanding es una batería de preguntas tipo test repartida en 57 áreas, desde matemáticas de secundaria hasta derecho o medicina. Es el benchmark más citado para medir conocimiento general.
El detalle que suele faltar en los titulares: MMLU es un examen de opción múltiple. Acertar preguntas no demuestra que el modelo sepa sostener una conversación larga ni que siga instrucciones complejas. Por eso han aparecido pruebas complementarias que intentan medir capacidades más cercanas al trabajo real. SWE-bench mide si el modelo resuelve incidencias reales sobre repositorios de código, y GPQA Diamond plantea preguntas de nivel de doctorado en ciencias.
Fíjate en lo que cada una mide y desconfía del número aislado. Dos modelos separados por medio punto en MMLU pueden comportarse de forma muy distinta delante de tus usuarios. Medio punto. Casi nada.
Evaluación en vivo frente a evaluación en laboratorio
Hay otra división. Y se pasa por alto.
La evaluación fuera de línea usa conjuntos de pruebas fijos, prompts predefinidos y datos de referencia. Es repetible, sirve para comparar versiones y para depurar. Su talón de Aquiles: no refleja qué pasa cuando el modelo se enfrenta a peticiones imprevisibles de usuarios reales.
La evaluación en vivo trabaja con interacciones reales. Recoge valoraciones con pulgares arriba o abajo, comentarios y puntuaciones estructuradas dentro del propio producto. También incluye pruebas A/B, donde dos variantes compiten en paralelo. Es más desordenada, pero capta lo que la evaluación de laboratorio pierde.
La combinación sensata es usar la evaluación fuera de línea como filtro rápido tras cada cambio y reservar la evaluación en vivo para validar el conjunto.
El juez automático y sus puntos ciegos
Evaluar con otro modelo de lenguaje, lo que se conoce como LLM como juez, se ha vuelto una práctica común porque es barata y escala. Le pides a un modelo que puntúe las respuestas de otro según una rúbrica. El problema es que hereda los sesgos y los puntos ciegos del modelo que evalúa.
El blog de Databricks lo dice sin rodeos: la supervisión humana sigue siendo necesaria para aportar una capa de criterio crítico y conciencia del contexto que los modelos, por sí solos, no alcanzan. Un juez automático tiende a preferir respuestas largas y con formato cuidado aunque no sean mejores.
Una salida práctica es calibrar el juez automático contra un conjunto de juicios humanos. Si el juez y las personas coinciden en esas muestras, puedes confiar más en él para el resto. Si no coinciden, tienes un problema de medición, no de modelos.
Cómo evaluar el modelo que de verdad vas a usar
El consejo final es el menos glamuroso y el más útil. Los benchmarks públicos sirven para descartar opciones, no para elegir la definitiva. Tu correo, tus contratos o tus conversaciones de soporte tienen un vocabulario y unas exigencias que ninguna prueba genérica recoge.
Construye un conjunto pequeño de casos reales de tu propio flujo de trabajo. Reúne entre veinte y cincuenta ejemplos con la respuesta que consideras correcta y vuelve a pasarlos cada vez que cambies de modelo o de prompt. Ese cuaderno de pruebas casero te dirá más que una tabla comparativa con veinte cifras, porque está hecho con tus casos y no con los de otro.
Veinte ejemplos. Nada más. Y funcionan.
La evaluación de LLM es, al final, una disciplina de decisiones. Qué mides, con qué criterio y para qué. Si la respuesta es honesta, el modelo correcto se elige casi solo.





