Los benchmarks públicos están rotos

TL;DR
- Las clasificaciones públicas responden bien a una pregunta: cómo se compara, a grandes rasgos, un modelo con otro. No pueden decirte si un modelo hace tu tarea.
- Cinco modos de fallo documentados rompen los números publicados: respuestas de referencia erróneas (el 6,49 % de MMLU, el 68,3 % de una muestra de SWE-bench descartado), el prompt como variable oculta (hasta 76 puntos), comparaciones sin potencia para detectar lo que afirman (11 de 40 sin resolver), una contaminación que ya se puede comprobar y puntuaciones que describen un conjunto de prueba y no una capacidad.
- Siete cambios baratos arreglan casi todo: publicar intervalos, corregir por comparaciones múltiples, reportar prompt, muestreo y dispersión, validar el evaluador antes que el modelo, auditar las respuestas de referencia, tratar el conjunto de prueba como un consumible y añadir una sesión adversarial.
- Si la decisión importa, construye tú el benchmark, y aplícale los mismos siete cambios.
Una puntuación de benchmark llega mucho más lejos que la evidencia que la sostiene. Un número medido sobre unos cientos de ítems fijos, con un solo prompt, corregido de una sola manera y en un solo día, acaba decidiendo qué modelo pasa a producción y sobre qué construye un equipo durante el año siguiente.
Hemos pasado varios meses leyendo la literatura sobre cómo se producen esos números (estadística, contaminación, diseño de evaluadores, validez de constructo) mientras construíamos un protocolo de medición interno. El resumen incómodo es que el campo ha documentado, repetidamente y con datos, que una gran parte de las comparaciones publicadas no pueden sostener lo que se afirma con ellas. La mayoría de estos hallazgos no son nuevos, ni discutidos, ni oscuros. Sencillamente no se aplican.
Esta entrada es la parte de esa lectura que merece la pena compartir: qué se rompe, con la evidencia, y qué creemos que debería cambiar.
Una aclaración antes de la evidencia, porque el título es tajante y el argumento no. Las clasificaciones públicas (los leaderboards) no son inútiles: responden bien a una pregunta, y es una pregunta real. A grandes rasgos, ¿cómo se compara este modelo con aquel? Lo que no pueden responder es la pregunta que tienen la mayoría de los equipos, y de eso trata el resto de esta entrada.
Fallo documentadoSin fallo documentadoQué se rompe ahíEvidencia
Qué se rompe ahí: el modelo ya los ha visto
Evidencia: contaminaciónOren et al.
Qué se rompe ahí: la respuesta de referencia está mal
Evidencia: 6,49 % de error en MMLUGema, NAACL 2025
Qué se rompe ahí: el formato por sí solo mueve la puntuación
Evidencia: hasta 76 puntosSclar, ICLR 2024
Qué se rompe ahí: el extractor falla sin avisar
Evidencia: pruebas de techo y de sueloHow2Bench
Qué se rompe ahí: no hay potencia para detectar el efecto que se afirma
Evidencia: 11 de 40 sin resolverKotawala
5 de las 6 etapas anteriores tienen un modo de fallo documentado.
Por debajo de todo: la validez de constructo. Una puntuación es evidencia de que un modelo rinde en un conjunto fijo de ítems, con un prompt, corregido de una manera, en un día. Todo lo que va más allá es inferencia.
Cinco de las siete etapas tienen un modo de fallo documentado y cuantificado. Un número que sobrevive a todas es más raro de lo que sugiere la clasificación.
Primera parte: lo que encontró la literatura
1. Las respuestas de referencia fallan más de lo que nadie presupuesta
Las propias respuestas de referencia contienen errores, y la tasa no es marginal.
Una auditoría de MMLU de 2025 (uno de los benchmarks más citados del campo) encontró una tasa de error del 6,49 % tras revisar a mano sus preguntas y respuestas (Gema et al., Are We Done with MMLU?, NAACL 2025). Los errores llevaban años ahí, en un benchmark usado en miles de artículos y en decenas de anuncios de lanzamiento.
En el lado agéntico es peor. Cuando OpenAI hizo una campaña de anotación humana sobre SWE-bench para producir SWE-bench Verified, el filtrado eliminó el 68,3 % de la muestra que revisaron: problemas mal especificados, con tests rotos o imposibles de resolver con la información dada (Introducing SWE-bench Verified, OpenAI). Eso no es un error de redondeo en un benchmark muy adoptado. Es la mayor parte de él.
Si las respuestas de referencia fallan en unos pocos puntos porcentuales, cualquier comparación que reporte una diferencia de unos pocos puntos está reportando ruido de las etiquetas como si fuera señal del modelo.
- 6,49 %de error en las preguntas y respuestas de MMLU tras revisión manualGema et al., NAACL 2025
- 68,3 %de una muestra de SWE-bench descartado por inservible durante la anotación humanaOpenAI, SWE-bench Verified (2024)
- 76 puntosde variación de exactitud solo por el formato trivial del prompt, sin tocar el contenidoSclar et al., ICLR 2024
Tres números, tres unidades. Van como cifras sueltas y no como barras sobre un eje común, porque una gráfica que comparase una tasa de error, una tasa de descarte y un rango de exactitud daría a entender una relación que no existe entre ellos.
2. El prompt es una variable, y casi nadie lo reporta
Este es el hallazgo que más sorprende.
Cambios triviales en el formato del prompt (separadores, mayúsculas, espacios, sin tocar el contenido) mueven la exactitud hasta 76 puntos en modelos abiertos. El efecto no desaparece con más ejemplos few-shot ni con instruction tuning (Sclar et al., FormatSpread, ICLR 2024).
No es solo la puntuación absoluta. Cambiar la plantilla de instrucciones cambia sustancialmente el orden entre modelos (Mizrahi et al., State of What Art?, TACL 2024). Dos laboratorios que evalúan los mismos modelos en el mismo benchmark con plantillas distintas pueden publicar ganadores distintos, y los dos con razón.
Así que una fila de una clasificación no es «el modelo X saca N». Es «el modelo X saca N con un prompt que normalmente no se publica, y el número se movería con otro».
3. La mayoría de las comparaciones publicadas no pueden detectar lo que afirman
Esto viene de lejos y se sigue ignorando.
En 2020, un artículo de EMNLP mostró que la mayoría de las comparaciones publicadas en procesamiento del lenguaje natural no tenían potencia estadística para los tamaños de efecto que afirmaban. Su ejemplo: al evaluar traducción automática con BLEU sobre un conjunto de prueba de 2.000 frases, la probabilidad de detectar una mejora real de un punto es de alrededor del 75 %, incluso cuando esa mejora existe de verdad (Card et al., With Little Power Comes Great Responsibility, EMNLP 2020).
No ha mejorado con la escala. Un análisis reciente del Open LLM Leaderboard v1 encontró que 11 de 40 comparaciones publicadas no estaban resueltas (el diseño no podía distinguir del ruido el efecto reportado) y que atajos habituales como la fórmula de la h de Cohen subestiman el tamaño de muestra necesario, incluso aplicando corrección por multiplicidad (Kotawala, Resolution Diagnostics for Paired LLM Evaluation).
donde d = proporción de ítems en los que los dos brazos discrepan, N = ítems comparados.
reducir a la mitad el efecto que quieres detectar cuadruplica los ítems que necesitas.
El efecto mínimo detectable de una comparación pareada, y la misma relación despejada para el tamaño de muestra que exige.
Con un 10 % de discordancia, un valor típico, la fórmula da unos 154 ítems para resolver una diferencia de cinco puntos, unos 427 para tres puntos y unos 3.800 para un punto. Los benchmarks se dimensionan habitualmente para lo primero y se usan para defender lo tercero.
Y casi nadie lo comprueba. En la mayor revisión de la práctica de los benchmarks hasta la fecha, solo el 16,0 % de 445 artículos de benchmarks hizo algún tipo de prueba estadística (Bean, Kearns, Romanou et al., NeurIPS 2025), así que en la mayoría de las comparaciones publicadas nunca se preguntó si el diseño podía resolver el efecto.
4. La contaminación dejó de ser una sospecha y pasó a ser una medida
Durante años la contaminación se discutía en vez de comprobarse, porque auditar el corpus de entrenamiento de un modelo cerrado es imposible.
Esa ya no es la limitación. Ahora existe una prueba estadística (una prueba de intercambiabilidad sobre el orden canónico del benchmark) que detecta si un modelo de caja negra ha visto un conjunto de prueba, sin acceso a los pesos ni a los datos de entrenamiento, y que funciona con modelos de unos pocos miles de millones de parámetros y conjuntos de prueba de unos pocos cientos de ítems (Oren et al., Proving Test Set Contamination in Black Box Language Models).
Las herramientas existen. Lo que falta es la costumbre de pasarlas antes de publicar una puntuación, y de reportar el resultado sea cual sea.
5. La puntuación describe un conjunto de prueba, no una capacidad
Por debajo de los otros cuatro hay un problema de medición que el campo importó de las ciencias sociales sin importar su vocabulario.
El mayor estudio sobre esto hasta la fecha cribó 46.114 artículos y revisó 445 artículos de benchmarks de ICML, ICLR, NeurIPS, ACL, NAACL y EMNLP con un libro de códigos de 21 ítems, anotados por 29 revisores (Bean, Kearns, Romanou et al., Measuring what Matters: Construct Validity in Large Language Model Benchmarks, NeurIPS 2025). Su conclusión es estructural: los benchmarks no suelen demostrar que lo que miden sea aquello que nombran.
46.114
artículos cribados
ICML, ICLR, NeurIPS, ACL, NAACL y EMNLP
445
artículos de benchmarks revisados
el 0,96 % de los cribados
Uno por benchmark, leído entero.
21
ítems del libro de códigos
29 anotadores puntuaron la validez de constructo ítem a ítem.
Hallazgo: los benchmarks no suelen demostrar que lo que miden sea aquello que nombran.
Fuente: Bean, Kearns, Romanou et al., NeurIPS 2025 Datasets and Benchmarks
Ver como tabla
| Definición del fenómeno | ampliamente aceptada | 40,9 % |
|---|---|---|
| discutida | 37,4 % | |
| sin definir | 21,7 % | |
| Uso de muestreo de conveniencia | ninguno | 60,7 % |
| parcial | 27 % | |
| solo de conveniencia | 12,3 % | |
| Origen de las tareas | no reutilizadas | 51,9 % |
| reutilizadas en parte | 38,2 % | |
| solo reutilizadas | 9,9 % | |
| Pruebas estadísticas | usadas | 16 % |
| no usadas | 84 % | |
| Validez de constructo | discutida | 53,4 % |
| no discutida | 46,6 % |
La cuarta barra es la que debería frenar al lector: el 84 % no hizo ninguna prueba estadística. Las definiciones no salen mucho mejor: el 37,4 % de los fenómenos que estos benchmarks dicen medir están en discusión, y el 21,7 % no se definen nunca.
Fuente: Datos de la figura 2, Key codebook results, en Bean, Kearns, Romanou et al., Measuring what Matters: Construct Validity in Large Language Model Benchmarks, NeurIPS 2025 (arXiv:2511.04703). Redibujada; el original es un diagrama aluvial que además muestra cómo coinciden los cinco ítems.
El enfoque que sigue merece interiorizarse: evaluar sistemas generativos se parece más a un problema de medición de las ciencias sociales que a uno de ingeniería (Wallach, Desai, Cooper et al., ICML 2025 Position Track). No estás leyendo un instrumento de una máquina. Estás construyendo un indicador indirecto de una capacidad abstracta y esperando que se sostenga.
Lo que significa que el resultado de un benchmark es evidencia de una cosa concreta: que un modelo rinde en un conjunto fijo de ítems, con un prompt, corregido por un evaluador, en un día. Todo lo que va más allá es inferencia, y la inferencia necesita su propio argumento.
Segunda parte: siete cambios que haríamos
Ninguno requiere ciencia nueva. Todos son cosas que la literatura ya recomienda y la práctica no hace.
1. Publica el intervalo, nunca la estimación puntual
Una puntuación sin su incertidumbre es decorativa. En comparaciones pareadas se trata de un bootstrap sobre los ítems discordantes, y cuesta una tarde de cómputo sobre resultados que ya tienes (Miller, Adding Error Bars to Evals).
2. Declara el número de comparaciones antes de hacerlas, y corrige por él
Si comparas once categorías, o cuatro configuraciones, el umbral no es 0,05. Fija el número de antemano, aplica la corrección y reporta el intervalo corregido, no el sin corregir al lado de un p-valor corregido, que es la medida a medias habitual y se lee como una significación que no existe.
3. Reporta el prompt y los parámetros de muestreo tal como se ejecutaron, y añade una cifra de dispersión
Con FormatSpread delante, una puntuación con un solo prompt es una anécdota. Pasar un subconjunto de ítems con tres paráfrasis y reportar la dispersión junto a la media cuesta muy poco y le dice al lector cuánto de tu número es el modelo y cuánto es tu forma de preguntar (Mizrahi et al.; ver también PromptEval para hacerlo de forma barata).
4. Valida el evaluador antes que el modelo
Todo evaluador debería llevar dos pruebas: dale las respuestas correctas y exige un 100 %, dale basura, respuestas vacías y respuestas de otros ítems y exige un 0 %. Escribe las pruebas antes que el evaluador. Un extractor que falla sin avisar produce un número de aspecto limpio que nadie cuestiona.
5. Audita las respuestas de referencia y publica la tasa de error como condición de la medida
Con MMLU al 6,49 % y SWE-bench Verified filtrando el 68,3 %, auditar una muestra de las respuestas de referencia no es paranoia: es el control de calidad más barato que hay. Reporta la tasa que encuentres, también cuando es cero.
6. Trata el conjunto de prueba como un consumible
Cada vez que miras un conjunto reservado, gastas una parte, y la fuga viaja por las decisiones humanas además de por los gradientes: un ingeniero que arregla un prompt después de mirar los fallos ha pasado información del conjunto de prueba al sistema. Lleva un contador explícito de consultas por conjunto, trata esa cuenta como parte de la medida y retira el conjunto cuando se haya gastado.
7. Acompaña el benchmark con una sesión adversarial diseñada para atacar lo que ha cambiado
Unas pocas decenas de preguntas, a mano, sin evaluador automático, elegidas específicamente para poner a prueba el comportamiento que la intervención acaba de modificar. Es el paso que atrapa lo que ninguna puntuación puede: modos de fallo fuera de la distribución que muestrea el benchmark. No produce ninguna cifra de titular, y precisamente por eso se salta.
Lo hemos comprobado con nuestro propio trabajo, y se sostiene
Una revisión de los benchmarks de otros es fácil de aplaudir. Así que hicimos las mismas preguntas sobre nuestra propia práctica, auditando cada experimento paso a paso frente al protocolo que habíamos escrito. El panel de abajo toma los siete mejor validados: cuatro evaluaciones de benchmarks de un modelo base abierto y tres adaptadores LoRA ajustados a partir de él y medidos frente a esa misma base.
El resultado es incómodo de una forma concreta. No fuimos descuidados en los ejes que es fácil cuidar, y estábamos vacíos justo en los ejes en los que, según la revisión, todo el mundo está vacío.
Ver como tabla
| 445 benchmarks publicados | Nosotros | |
|---|---|---|
| Prueba estadística en la comparación | 16 % | 100 % |
| Validez de constructo tratada | 53,4 % | 75 % |
| Fenómeno definido y aceptado | 40,9 % | 75 % |
Fuente: Bean, Kearns, Romanou et al., NeurIPS 2025 (445 benchmarks). Nosotros: auditoría de nuestros propios experimentos con el mismo libro de códigos, 3 de 3 comparaciones y 3 de 4 evaluaciones. (2026-09)
Para qué sirven los benchmarks públicos, y para qué no
Las clasificaciones públicas son un instrumento de comparación. Te dicen, a grandes rasgos, dónde se sitúa un modelo respecto a otro en un abanico amplio de tareas, y eso es útil de verdad cuando estás eligiendo por dónde empezar a mirar, siguiendo si el campo avanza o descartando un modelo que está dos escalones por debajo de lo que necesitas.
No pueden decirte si un modelo hace tu tarea. No porque quienes las construyen sean descuidados, sino por lo que son: un conjunto fijo de ítems, acotado y barato de corregir porque tiene que serlo, puntuado con un prompt en un día. Tu trabajo tiene entradas desordenadas, ambigüedad, flujos de varios pasos, herramientas y un estándar de corrección que define alguien de tu organización. Nada de eso está en la clasificación, y ninguna lectura más atenta de la clasificación lo va a poner ahí.
Así que, si la decisión importa (qué modelo pasa a producción, si un fine-tuning ha merecido la pena, si la nueva versión es de verdad mejor para ti), la respuesta honesta es que tienes que construir el benchmark tú. Tus ítems, tus respuestas de referencia, corregidos como corregirías a una persona haciendo ese trabajo.
Es menos de lo que parece. Unos cientos de casos reales, con respuestas de referencia escritas por alguien que sabe qué es un buen resultado, te dirán más sobre si un modelo encaja con tu trabajo que cualquier puntuación pública, y te lo seguirán diciendo a medida que cambien los modelos. Lo caro no es construirlo, es la disciplina de mantenerlo congelado una vez que lo tienes.
Y los siete cambios de arriba se le aplican enteros. Construir tu propio benchmark arregla la representatividad (las tareas ya son las reales), pero no arregla nada más. Tus respuestas de referencia pueden estar mal, tu prompt sigue siendo una variable oculta, tu muestra puede seguir siendo demasiado pequeña para resolver la diferencia sobre la que vas a actuar, y tu evaluador todavía puede fallar sin avisar. La relevancia para tu dominio y la calidad de la medida son dos problemas distintos, y el segundo es el más barato de los dos: casi todo lo que aparece arriba cuesta horas de análisis sobre datos que ya tienes, no nuevas ejecuciones de evaluación.
Hacia dónde va esto
Si quieres aprender más sobre cómo hacer benchmarks de tu propio caso de uso, síguenos: publicaremos más.
Fuentes, y qué hemos verificado y qué no
Todo lo que se cita aquí es trabajo publicado, con su congreso y su año en el texto. Los hallazgos que contamos son suyos, no nuestros: no hemos reproducido la auditoría de MMLU, el barrido de FormatSpread, el análisis de resolución del Open LLM Leaderboard ni la prueba de contaminación. Lo que sí hemos hecho es aplicar sus recomendaciones a nuestra propia práctica de medición y averiguar cuáles son baratas y cuáles no. Las siete de arriba son las que consideramos baratas y a la vez imprescindibles.
Referencias principales: Bean, Kearns, Romanou et al. (NeurIPS 2025) · Wallach, Desai, Cooper et al. (ICML 2025) · Gema, Leang, Hong et al. (NAACL 2025) · Sclar, Choi, Tsvetkov, Suhr (ICLR 2024) · Mizrahi, Kaplan, Malkin et al. (TACL 2024) · Card, Henderson, Khandelwal et al. (EMNLP 2020) · Kotawala, Resolution Diagnostics for Paired LLM Evaluation · Neuhof y Benjamini, Quantifying Ranking Uncertainty in LLM Benchmarks · Mandujano Reyes, Statistical Methods for Multiple Language Model Comparison · Oren, Meister, Chatterji et al., Proving Test Set Contamination in Black Box Language Models · Miller, Adding Error Bars to Evals · OpenAI, Introducing SWE-bench Verified · Reuel, Hardy, Smith et al., BetterBench (NeurIPS 2024).