Hasta ahora, a la mayoría de los asistentes de inteligencia artificial se les pide una tarea y ahí termina todo: responden, ejecutan y olvidan. La siguiente generación aspira a otra cosa, a ser agentes de larga duración que acompañan al usuario durante semanas o meses, encadenan un objetivo tras otro y van acumulando experiencia por el camino. La idea es atractiva, pero plantea una pregunta incómoda: ¿qué pasa cuando lo aprendido deja de ser cierto?

Un trabajo publicado el 3 de noviembre en el repositorio arXiv por Shijue Huang, Hangyu Guo, Hengheng Zhang, Guo An, Zhitao He, Qi Tian y Yiren Feng intenta medir justo eso. Sus autores presentan ReScopeBench, un banco de pruebas pensado para seguir el «ciclo de vida» de la experiencia de un agente: cómo la adquiere, cómo la reutiliza y, sobre todo, cómo la revisa cuando el entorno se mueve bajo sus pies.

Qué mide exactamente este banco de pruebas

Según los autores, los bancos de pruebas actuales ya estudian si un agente reutiliza lo aprendido o se adapta a situaciones nuevas, pero aportan poca información sobre qué partes de esa experiencia acumulada se corrigen, cuáles se conservan y cuáles se pierden por el camino. ReScopeBench quiere llenar ese hueco con 18 entornos interactivos.

La propuesta separa la experiencia en dos tipos:

• Experiencia estructural: cómo está organizado un entorno y cómo se accede a sus partes. Algo así como saber en qué menú está cada opción o qué camino lleva a cada sitio.
• Experiencia de reglas: principios y restricciones reutilizables que guían las decisiones en distintas tareas. Por ejemplo, saber que cierta acción solo está permitida si antes se ha cumplido una condición.

Esta distinción importa porque no es lo mismo olvidar dónde está algo que olvidar por qué no se debe hacer algo. Y cada tipo de conocimiento puede quedarse obsoleto de forma distinta.

Cómo funciona por dentro: tareas en cadena y cambios silenciosos

El equipo propone un método de construcción al que llama «experiencia primero». En lugar de diseñar tareas sueltas y ver qué aprende el agente, construyen secuencias de tareas alrededor de una experiencia compartida: para resolver bien la quinta tarea conviene haber aprendido algo en la primera o en la segunda.

El giro interesante es que, a mitad de la secuencia, introducen cambios silenciosos en el entorno. Nadie le avisa al agente de que algo ha cambiado; tiene que darse cuenta por sí mismo de que lo que había anotado ya no funciona. Es una situación muy parecida a la vida real: una aplicación se actualiza, una web cambia de diseño o una norma interna se modifica sin que nadie mande una circular.

Durante cada secuencia, los investigadores no solo miden si el agente acierta o falla en las tareas. También siguen la evolución de la experiencia que el agente guarda, para ver qué anota, qué corrige y qué conserva cuando ya no debería.

Qué han encontrado al probar 20 modelos

Los autores han evaluado 20 modelos distintos y sus conclusiones dibujan un panorama con luces y sombras. La parte buena: conservar la experiencia mejora el rendimiento. Un agente que recuerda lo aprendido en tareas anteriores lo hace mejor que uno que empieza de cero cada vez.

La parte menos buena tiene dos caras. Por un lado, a los agentes les cuesta mantener esa experiencia al día cuando el entorno cambia: siguen confiando en notas desfasadas. Por otro, y quizá más sorprendente, el estudio señala que tener la información correcta anotada no garantiza el éxito. En palabras del resumen:

«Incluso cuando la experiencia necesaria está correctamente registrada, los agentes no siempre completan las tareas con éxito».

Es decir, el problema no es solo de memoria, sino también de uso: saber algo y aplicarlo bien en el momento oportuno son habilidades distintas. Los autores concluyen que el mantenimiento selectivo de la experiencia y su uso eficaz son dos retos complementarios para este tipo de agentes.

La letra pequeña

Conviene leer estos resultados con cautela. Se trata de una preimpresión en arXiv, es decir, un trabajo que aún no ha pasado por revisión por pares. Además, un banco de pruebas mide el comportamiento en entornos diseñados por los investigadores, que no tienen por qué reflejar toda la complejidad del uso cotidiano. Tampoco cabe extrapolar a un producto comercial concreto: el estudio compara modelos dentro de su propio marco experimental, no evalúa asistentes tal y como llegan al usuario.

Por qué importa

Cada vez más herramientas prometen asistentes que «te conocen» y recuerdan tus preferencias, tus proyectos o la forma de trabajar de tu empresa. Este trabajo recuerda que la memoria es un arma de doble filo: lo aprendido ayuda, pero una nota caducada puede llevar a un agente a equivocarse con total seguridad. Disponer de una forma de medir qué conservan, qué corrigen y qué olvidan estos sistemas es un paso necesario para que, algún día, podamos fiarnos de un asistente que nos acompañe durante meses sin que tengamos que revisar cada uno de sus pasos.