Hace poco, que un programa contestara bien a una pregunta suelta ya nos parecía mucho. Ahora el objetivo es más alto: queremos agentes de inteligencia artificial que funcionen casi como un compañero de trabajo. Que naveguen por la web, escriban código, lancen experimentos y aguanten tareas largas. Para saber si de verdad pueden, hace falta un examen que se parezca a la vida real de una oficina. Eso es lo que propone SlackBench, un banco de pruebas presentado el 3 de noviembre de 2026 en el repositorio científico arXiv.

Lo firman ocho investigadores: Mingxuan Li, Huanzhi Mao, Ruitao Zheng, Jarod Stanbury James, Yunze Li, Natanya Anderson, Joseph E. Gonzalez y Alex Dimakis. El nombre viene de la conocida herramienta de mensajería para equipos, pero aquí la marca importa poco. Lo interesante es el tipo de problema que se plantea.

Qué falla en los exámenes actuales

Muchos de los benchmarks con los que se evalúa hoy a los agentes usan datos sintéticos o tareas aisladas: una pregunta, un documento y una respuesta. Los autores sostienen que el trabajo intelectual real no funciona así. En un proyecto en equipo, la información importante está repartida entre conversaciones, código y decisiones que van cambiando. En palabras del artículo, la información crítica está «dispersa entre conversaciones, código y decisiones en evolución».

Pensemos en una pregunta tan corriente como «¿al final qué versión del experimento usamos?». Para contestarla bien, una persona (o una máquina) tiene que:

• localizar los canales y los mensajes directos que tratan el tema;
• recuperar el contexto de discusiones largas, a veces de semanas;
• mirar en qué estado está el repositorio de código;
• distinguir lo que ya está desfasado o se contradice;
• y juntar todo eso en una respuesta coherente.

Cualquiera que haya trabajado en un equipo con mucho chat sabe que no es tan sencillo, ni siquiera para un humano.

Cómo está montado SlackBench por dentro

Los autores no usaron conversaciones privadas reales. Recrearon proyectos de investigación académica auténticos de forma que se proteja la privacidad. Cada entorno es reproducible e incluye diálogos entre varios participantes, decisiones que se revisan con el tiempo y los cambios de código correspondientes, enlazados con repositorios de GitHub y documentos compartidos de Google Docs.

Sobre ese escenario plantean 140 consultas de varios tipos:

• Búsqueda en fuentes diversas: encontrar la respuesta cruzando chat, código y documentos.
• Saber abstenerse: reconocer que una pregunta no tiene respuesta o parte de una premisa falsa, en vez de inventarse algo.
• Resúmenes con objetivo: sintetizar lo relevante para un fin concreto, no hacer un resumen genérico.
• Inferir circunstancias: deducir qué pasó a partir de conversaciones largas.

Según los autores, estas tareas no se reducen a preguntar sobre un texto fijo. El agente tiene que decidir dónde buscar, seguir el hilo, revisar el estado del código y combinar las pistas que saca de las conversaciones y del repositorio. El conjunto de datos es público y se puede descargar en Hugging Face.

Los resultados: buenos, pero lejos de lo perfecto

El equipo evaluó 33 modelos punteros y sistemas de agentes. El mejor rondó el 80 % de acierto, y la mayoría se quedó por debajo del 66 %. El resumen del trabajo no dice qué sistema quedó primero ni da la puntuación de cada uno. Los autores sacan una conclusión clara: hay mucho margen de mejora.

Hay que leer esas cifras con algo de letra pequeña en mente:

• 140 preguntas son una muestra útil, pero limitada. Un par de puntos arriba o abajo no deberían tomarse como un veredicto definitivo entre modelos.
• Los escenarios son recreaciones de proyectos académicos. Una empresa de logística o un despacho de abogados tendrán otras dinámicas.
• Es una prepublicación en arXiv. Todavía no ha pasado una revisión por pares formal.

Aun así, el diseño apunta a algo que a menudo se pasa por alto: un buen asistente no solo tiene que encontrar respuestas, también tiene que saber cuándo no las hay. Que el benchmark premie la abstención ante preguntas trampa es una forma directa de medir esa tendencia a rellenar huecos con datos inventados.

Fuente: Li, M.; Mao, H.; Zheng, R.; James, J. S.; Li, Y.; Anderson, N.; Gonzalez, J. E.; Dimakis, A. «SlackBench: Benchmarking Agents on Collaborative Projects Grounded in Real Code Repositories». arXiv, 2026. DOI: 10.48550/arXiv.2611.05512. Licencia CC BY 4.0.

Por qué importa

Las empresas ya están probando agentes de IA que leen el chat del equipo, consultan el código y responden por nosotros. Antes de confiar en ellos conviene saber cómo se comportan cuando la información está desordenada, desactualizada o se contradice, que es lo normal en cualquier oficina. SlackBench no responde a todo, pero ofrece una forma reproducible de medirlo. Sus primeros números recuerdan algo útil: estos «compañeros digitales» aciertan mucho, aunque todavía no lo bastante como para dejarlos solos con las decisiones importantes.