Cerrando la brecha en Modelos de Mundo: ¿Por qué la planificación basada en gradientes solía fallar? 🤖🧠

Acabo de leer el paper “Closing the Train-Test Gap in World Models for Gradient-Based Planning” (con co-autoría de Yann LeCun), y aborda un problema fundamental que hemos visto en Reinforcement Learning y Robótica: la desconexión entre cómo entrenamos y cómo planificamos.

📉 El Problema (The Train-Test Gap): Tradicionalmente, entrenamos Modelos de Mundo usando trayectorias de “expertos” (datos limpios). Pero cuando usamos un planificador basado en gradientes, este explora estados “extraños” o subóptimos durante la optimización. El modelo, al no haber visto nunca esos estados, alucina o predice mal, haciendo que la planificación falle.

💡 La Solución Propuesta: Los autores proponen “Adversarial World Modeling”. En lugar de entrenar solo con lo que el agente debería hacer, sintetizan datos durante el entrenamiento que imitan las exploraciones “adversarias” que hará el planificador. Básicamente, preparan al modelo para el caos de la optimización.

🚀 Resultados: Logran que la planificación basada en gradientes (mucho más rápida) iguale o supere a métodos de búsqueda masiva (como CEM), pero usando solo ~10% del presupuesto computacional.

Un paso gigante para hacer la planificación robótica más eficiente en el mundo real.

👇¿Qué opinan sobre el uso de datos sintéticos adversarios para robustecer los World Models?

#AI #MachineLearning #WorldModels #Robotics #DeepLearning #Research #YannLeCun