Un examen de operador nuclear muestra que la IA puede acertar con un razonamiento flojo
NEBench R1 somete a seis modelos de lenguaje a 7.546 preguntas de exámenes reales para operadores de reactores. La nota va del 34 % al 73,9 %, y la explicación que dan no siempre está a la altura.

Los grandes modelos de lenguaje, los sistemas que hay detrás de los chatbots actuales, ya se prueban en tareas en las que equivocarse sale caro. Una de ellas es la ingeniería nuclear. Allí no vale con que la respuesta suene bien: hay que acertar y además saber por qué. Un equipo de siete investigadores encabezado por Liyan Wang ha publicado NEBench R1, una prueba pensada para medir las dos cosas a la vez. El trabajo está en arXiv, un repositorio de artículos científicos que todavía no han pasado revisión por pares.
La idea de fondo es sencilla. Hasta ahora, las pruebas de este campo cubrían poco temario o solo comprobaban si la respuesta final era correcta. Según los autores, ninguna evaluaba de forma sistemática la calidad del razonamiento que lleva a esa respuesta. NEBench R1 intenta cubrir ese hueco.
Un examen sacado de exámenes reales
El banco de preguntas tiene un origen poco habitual: 7.546 preguntas tipo test, todas distintas, sacadas de los exámenes con los que la Comisión Reguladora Nuclear de Estados Unidos (NRC) concede la licencia a los operadores de reactores. Es decir, las pruebas que tienen que aprobar las personas que manejan una central. El material procede de exámenes de 18 instalaciones nucleares.

Cada pregunta va clasificada según los catálogos de conocimientos y habilidades de la propia NRC, que ordenan qué tiene que saber un operador y para qué. Además, cada una trae una explicación oficial de por qué la respuesta correcta lo es. Ese detalle es la clave del proyecto, porque esa explicación sirve de referencia para juzgar si el modelo ha razonado bien o ha acertado de casualidad.
- Volumen: 7.546 preguntas tipo test únicas.
- Origen: exámenes de licencia de operadores de reactor de 18 instalaciones.
- Organización: clasificadas por conocimientos y habilidades según la NRC.
- Referencia: una explicación oficial para cada pregunta.
Cómo se evalúa el razonamiento
La prueba tiene dos fases. En la primera se mide la puntuación de siempre: cuántas preguntas acierta cada modelo. Los autores probaron seis modelos de lenguaje, y la precisión global fue del 34,0 % al 73,9 %. Los resultados se reparten en tres niveles de rendimiento claramente separados. En el resumen del trabajo no aparece qué modelos son, así que aquí no los nombramos.

La segunda fase es la novedosa. Las respuestas correctas pasan a un "juez", que es otro modelo de lenguaje, y este las puntúa con una rúbrica de varios criterios. No basta con comprobar la letra marcada. El juez valora si el modelo entendió bien el problema, si los datos técnicos y los procedimientos que menciona son exactos y si explica por qué las demás opciones, las trampas del test, son incorrectas.
Las respuestas salieron bien paradas en comprensión del problema. Puntuaron peor en exactitud factual y procedimental y en el análisis de las opciones falsas. Los autores lo resumen así: las respuestas correctas
«no estaban necesariamente respaldadas por justificaciones técnicamente sólidas» (Wang et al., 2026)
Añaden un matiz que conviene recordar: que una explicación esté bien redactada indica muy poco sobre su calidad técnica. Un texto claro y ordenado puede estar mal en lo importante.
Pensar más no siempre es pensar mejor
Otro hallazgo tiene que ver con los modelos de "razonamiento", los que escriben una cadena de pasos intermedios antes de contestar. En los dos modelos de este tipo más punteros que se evaluaron, los razonamientos más largos fueron de la mano de una precisión más baja. Para los autores, eso no significa que pensar más empeore el resultado. Lo que reflejaría la longitud es la dificultad de la pregunta: cuanto más se atasca el modelo, más texto genera.

Esto tiene una lectura práctica. Los autores proponen usar el número de tokens de razonamiento (los fragmentos de texto que consume el modelo al pensar) como señal de alerta para marcar respuestas que podrían ser poco fiables. Sería una especie de aviso automático: si el modelo ha dado muchas vueltas, conviene que lo revise una persona.
La letra pequeña
El trabajo tiene límites que conviene tener en cuenta. Es una prepublicación, así que todavía no ha pasado una revisión formal. El juez que valora el razonamiento es otro modelo de lenguaje, con los sesgos y errores que eso puede traer. Las preguntas son tipo test, un formato muy útil para medir pero lejos de la complejidad de una sala de control real. Y que un modelo apruebe un examen de operador no significa que pueda operar nada: el estudio mide conocimiento y razonamiento sobre el papel, no capacidad de actuar.
Por qué importa
A medida que la IA llega a sectores críticos como la energía, la medicina o la aviación, mirar solo el porcentaje de aciertos se queda corto. NEBench R1 muestra que un modelo puede marcar la opción correcta con una justificación equivocada, y en un entorno donde la seguridad es lo primero eso es una diferencia enorme. Que el benchmark se base en exámenes oficiales y explicaciones de referencia lo convierte en una herramienta útil para saber, antes de confiar en una de estas herramientas, si de verdad entiende lo que contesta.
Texto generado con inteligencia artificial a partir de las fuentes citadas, sin revisión humana individual (Reglamento UE 2024/1689, art. 50). Las fotos llevan su crédito y licencia; las marcadas como realzadas se han retocado con IA sin alterar su contenido.
Relacionado
- Agentes de IA con memoria: el problema es que no notan cuándo cambia el mundo
- Un modelo de IA que perdía al StarCraft copió el bot de un humano para ganar
- Un modelo de lenguaje aprende a retocar sus propios pesos sin reentrenarse
- Sociedades simuladas con IA: por qué hablar bien no basta para ser fiable
- Anterior en Tecnología: Pantallas que se ocultan a los mirones: así funciona el modo privacidad del nuevo Xiaomi
Temas: Inteligencia artificial (88) · Modelos de lenguaje (17)





Comentarios
Para comentar hay que iniciar sesión (Google, X, Facebook, Apple, Microsoft o cuenta de Disqus). Se moderan insultos, spam y datos personales: normas.
Los comentarios los sirve Disqus, un servicio externo que usa cookies propias y de publicidad. Solo se carga si pulsas el botón. Más información.