Una IA que escribe un plan de 8 pasos o más casi nunca lo ejecuta tal cual, según una prueba

Es como pedirle a un fontanero que anuncie los pasos de la reparación y mirar después si los hace. Un agente de IA hace algo parecido: escribe un plan de varios pasos y luego lo ejecuta. Un estudio publicado el 29 de septiembre de 2026, que todavía no ha revisado ningún experto independiente, midió cuántas veces lo ejecuta tal como lo escribió. Con planes de ocho pasos o más, casi nunca.

Qué se probó

Probaron tres modelos abiertos, que no son asistentes comerciales, en cuatro baterías públicas de tareas, como exámenes: moverse por una casa simulada, navegar por webs, arreglar errores de programación. Un verificador automático daba el plan por cumplido solo si todos los pasos aparecían ejecutados y en el orden anunciado.

Lo que salió

En tres de las cuatro pruebas, solo entre el 12 y el 45 % de los planes se siguieron tal cual, según el modelo y la prueba. Y la longitud del plan pesa mucho. En una de las pruebas, los planes de cuatro o cinco pasos se conservaron en torno a 4 de cada 10 veces. Los de seis o siete, bastante menos. Los de ocho o más, prácticamente nunca.

Un dato que se pierde en los resúmenes: darle un plan al modelo apenas ayuda por sí solo. Con uno de los modelos, el agente sin plan acertaba el 44 % de las tareas, y con plan, el 48 %.

Lo que sí ayudó fue obligar al modelo a seguir una estructura de trabajo fija. Pero ojo: esa estructura se eligió después, sabiendo ya cuál había salido mejor. Cuando es el propio modelo quien elige cómo planificar, la mejora se reduce bastante.

Lo que el estudio no demuestra

El verificador no es perfecto: dos personas que lo contrastaron coincidieron con él, y entre ellas, solo de forma modesta. En una de las pruebas, los éxitos son minúsculos con cualquier método. Solo se probaron tres modelos, y nada indica que un asistente comercial se comporte igual. Y conservar el plan tampoco equivale a resolver la tarea: la calidad del plan y el éxito apenas guardan relación.

Por qué importa

Los agentes se venden por encadenar pasos: leer un correo, consultar un pedido, actualizar una hoja, avisar a un cliente. Este trabajo sugiere que el eslabón débil puede estar en el sistema que ejecuta el plan, y no solo en el modelo que lo redacta. Eso cambia lo que conviene pedir a un proveedor.

El programa de una conferencia de 2026, con autores de varias grandes empresas, enumera los mismos problemas en producción: inventarse datos, bloqueos y errores en cascada, donde un fallo arrastra al siguiente. Es un temario y no un estudio con datos, así que se cita solo como contexto.

Qué hacer hoy

Si usas o vas a contratar un agente que toque facturas, correos a clientes o inventario, hay una prueba barata.

1. Antes de ponerlo en marcha, ejecuta la misma tarea unas diez veces con datos de prueba.
2. Compara el plan que el agente anuncia con el registro de lo que hizo de verdad.
3. Pide al proveedor que ese registro exista.

Una inferencia nuestra, no del estudio: conviene partir las tareas largas en tramos cortos con una revisión humana entre ellos, porque es en los planes largos donde los datos muestran más desviación.

Fuentes

• arXiv, Do LLM Agents Execute the Plans They Declare? From Planning-Mode Declaration to Pattern-Specific Execution, preprint sin revisión por pares, 29 de septiembre de 2026. Versión HTML consultada: arxiv.org/html/2609.38108v1.
• arXiv, Agents in the Wild: Where Research Meets Deployment, descripción de tutorial para KDD 2026, 21 de julio de 2026.