Detrás de muchos sistemas que aprenden a base de premios y castigos —un robot que ensaya movimientos, un recomendador que prueba estrategias— hay una familia de algoritmos llamada diferencia temporal (TD, por sus siglas en inglés). La idea es sencilla: el sistema estima cuánto valor espera obtener desde una situación, compara esa estimación con lo que ocurre un instante después y corrige la diferencia. Repetido millones de veces, eso basta para aprender a decidir.

El problema aparece cuando el sistema aprende fuera de política: es decir, cuando entrena con datos generados por un comportamiento distinto del que quiere aprender. Es lo habitual en la práctica, porque permite reutilizar experiencia vieja, registros de otros agentes o simulaciones. En ese régimen, TD puede volverse inestable y las estimaciones dispararse hasta el infinito.

Un algoritmo que parecía a salvo

Para eso existe el TD enfático (ETD): reparte un peso distinto a cada situación —una especie de énfasis acumulado— para que la actualización promedio quede matemáticamente bien planteada. Sobre el papel funciona: el mapa promedio del algoritmo contrae, o sea, tiende a acercar las estimaciones a la solución.

El trabajo firmado en arXiv (categoría cs.AI, septiembre de 2026) señala que esa garantía no basta. Los autores construyen un contraejemplo mínimo, de solo dos estados, en el que el promedio contrae pero la dinámica real —la que se obtiene muestreando paso a paso con un tamaño de paso constante— diverge. El indicador técnico es el exponente de Lyapunov superior del producto de matrices muestreadas: cuando sale positivo, el error crece de forma exponencial. Y ahí sale positivo.

El matiz es interesante: ese signo no viene de la varianza infinita de la traza de énfasis, que es la explicación habitual. Un análisis por ciclos regenerativos separa ambos fenómenos. Dicho llanamente: no es solo que el algoritmo tenga picos enormes, es que su comportamiento típico ya empuja hacia fuera.

El parche: guardar el golpe y soltarlo despacio

La propuesta se llama TD enfático regularizado (RETD). En vez de tocar la traza de énfasis o los cocientes de importancia —que quedan intactos—, añade una reparación normalizada de primer orden después de cada sacudida: guarda la señal enfática en un estado escalar con fuga y libera una corrección retardada. Es, en espíritu, un amortiguador.

• El equilibrio en bruto de RETD queda desplazado respecto al de ETD, pero de forma afín (predecible).
• Con una o dos regularizaciones en la lectura final se recupera exactamente el punto fijo original.
• Los autores prueban convergencia casi segura con pasos decrecientes armónicos y un resultado condicional de contracción en momentos para paso constante.

La letra pequeña

Es un preprint: no ha pasado revisión por pares. Los exponentes negativos certificados se refieren al contraejemplo de dos estados y a un punto del clásico ejemplo de Baird; para el signo positivo de ETD en Baird, el resultado sigue siendo numérico, no demostrado. La garantía de paso constante es condicional, no universal. Y el experimento reportado es de simulación —10.000 ejecuciones emparejadas—, no de un sistema real desplegado.

Por qué importa

Casi todo el aprendizaje por refuerzo aplicado usa tamaño de paso constante, porque bajarlo progresivamente hace el entrenamiento lentísimo. Si las garantías de estabilidad solo valen en el promedio idealizado, buena parte de la tranquilidad teórica que rodea a estos métodos está mal colocada. El valor de un trabajo así no es el algoritmo nuevo, sino el contraejemplo: enseña dónde exactamente se rompe la intuición y obliga a medir la estabilidad sobre la dinámica muestreada, que es la que de verdad corre en el ordenador.