Cada vez más herramientas de inteligencia artificial responden preguntas de salud, resumen historiales o redactan borradores para personal sanitario. Antes de fiarse de ellas, alguien tiene que comprobar si lo que dicen es correcto, completo y prudente. Lo ideal sería que lo revisaran médicos, pero hay un problema de escala: no hay suficientes profesionales para leer millones de respuestas. Un trabajo publicado en el repositorio arXiv propone una alternativa más ligera para hacer ese control de calidad de forma automática.

El estudio compara un sistema llamado Jev, al que sus autores describen como un decision language model (modelo de lenguaje de decisión), con una docena de grandes modelos de lenguaje que hacen de «jueces», entre ellos modelos punteros y otros de pesos abiertos. La conclusión principal es que Jev coincide con la valoración de los médicos tanto o más que muchos de esos grandes modelos, pero cuesta y tarda bastante menos.

Qué es un «juez» de IA y por qué hace falta uno barato

En la jerga del sector, un juez es un modelo que lee la respuesta de otro modelo y la puntúa: si es buena o mala, si cumple ciertos criterios o qué nota merece. Se ha convertido en una práctica habitual porque permite evaluar muchísimas respuestas sin intervención humana constante. El inconveniente es que usar un gran modelo de lenguaje como juez es caro y lento cuando hay que revisar volúmenes enormes, algo que en el ámbito clínico es especialmente relevante, porque las evaluaciones deben repetirse cada vez que se actualiza un sistema.

Jev parte de otro enfoque: en lugar de redactar una valoración en texto libre, devuelve juicios estructurados, es decir, una decisión concreta y en formato fijo. El resumen del artículo no detalla su arquitectura interna, así que conviene no suponer más de lo que dice: lo que se mide aquí es su rendimiento como evaluador, no cómo está construido.

Cómo se puso a prueba

Los investigadores enfrentaron a Jev con los demás jueces en cuatro escenarios distintos:

• Respuestas de pediatría. Sobre 118 respuestas que habían sido calificadas por médicos en una escala de calidad, Jev obtuvo un acuerdo con los facultativos de 0,50 según el coeficiente AC2 de Gwet (una medida estadística de concordancia entre evaluadores que corrige el acierto por azar). Igualó o superó a siete de los doce jueces probados. Como referencia, el estudio cita 0,49 para Claude Opus 5.5 y 0,38 para GPT-6.
• Criterios binarios de HealthBench. En una colección de criterios de sí o no revisados por médicos, Jev igualó o superó a cuatro de seis jueces.
• Tareas abiertas de MedHELM. Aquí no había médicos, sino un «jurado» de tres modelos. El acuerdo de Jev con ese jurado se acercó o superó al que los propios miembros del jurado tenían entre sí.
• HealthBench Professional. Jev coincidió con el juez de referencia de esa prueba, GPT-5.4, en el 91 % de los criterios; los demás jueces se movieron entre el 91 % y el 93 %.

El dato que más llama la atención es el económico. Según el trabajo, los jueces de última generación costaron entre 73 y 294 veces más que Jev y tardaron entre 7 y 57 veces más en completar la tarea.

«Jev may enable efficient clinical AI evaluation at scale», concluyen los autores en el resumen del artículo.

La letra pequeña

Antes de celebrar, conviene leer con calma lo que dicen las cifras y lo que no dicen:

• Es un preprint. arXiv publica trabajos que todavía no han pasado necesariamente la revisión por pares de una revista. Los resultados pueden cambiar o matizarse.
• El acuerdo es moderado. Un AC2 de 0,50 está lejos de una coincidencia perfecta con los médicos. Que Jev iguale a los grandes modelos significa también que ninguno de ellos replica todavía con fidelidad el criterio clínico humano.
• No gana siempre. En pediatría superó o igualó a siete de doce jueces, lo que implica que otros cinco lo hicieron mejor. En HealthBench, a cuatro de seis.
• Muestras limitadas. 118 respuestas pediátricas es una cifra útil para una primera comparación, pero pequeña para sacar conclusiones generales sobre toda la medicina.
• Evalúa, no diagnostica. Jev no es una herramienta para pacientes ni sustituye a un médico: su función es puntuar respuestas de otras IA dentro de procesos de evaluación.

Tampoco conviene leer el abaratamiento como un permiso para prescindir de la revisión humana. Lo que el estudio sugiere es que un juez ligero podría hacer la criba masiva y dejar a los profesionales los casos dudosos o críticos.

Por qué importa

La IA médica solo será fiable si se puede vigilar de forma continua, y esa vigilancia hoy es cara. Si un evaluador pequeño y rápido logra acercarse al criterio de los grandes modelos, más equipos (hospitales, universidades o desarrolladores modestos) podrían someter sus sistemas a controles frecuentes sin disparar la factura. Es un avance discreto, de los que no salen en los anuncios, pero de los que dependen la seguridad y la confianza en estas herramientas.