¿Estamos ante el "Attention Is All You Need" de 2025?

¿Estamos ante el “Attention Is All You Need” de 2025?

🚀 Olvida todo lo que sabes sobre “Capas”. El futuro no es profundo, es ANIDADO.

En 2017, “Attention Is All You Need” cambió el mundo. Hoy, un nuevo paper de Google Research podría estar marcando el inicio de la siguiente gran era.

Se titula: “Nested Learning: The Illusion of Deep Learning”. Y su premisa es radical.

El paper argumenta que lo que hemos estado llamando “Deep Learning” (apilar capas y capas) es solo una representación estática —una ilusión— de lo que realmente está pasando.

🔥 El cambio de paradigma (El momento “v2”): Los autores demuestran que la “Atención” no es solo un mecanismo de enrutamiento; matemáticamente, es un paso de optimización de gradiente descendente sobre una memoria interna.

Esto cambia las reglas del juego: De Estático a Dinámico: Los Transformers actuales sufren de “amnesia” después del entrenamiento.

La Nueva Propuesta: Ver el modelo no como arquitectura fija, sino como un sistema de bucles de optimización anidados que corren a diferentes frecuencias (como las ondas cerebrales).

🤖 Nace la arquitectura HOPE:

Basados en esta teoría, presentan HOPE, un modelo que literalmente se auto-modifica mientras aprende.

No solo “predice” el siguiente token; optimiza su propio algoritmo de actualización en tiempo real.

📊 ¿Los resultados?

HOPE ya supera a Transformer++, RetNet y Titans en benchmarks de modelado de lenguaje y razonamiento, siendo mucho más eficiente.

Si “Attention” nos enseñó a mirar todo el contexto a la vez, “Nested Learning” nos enseña a aprender en múltiples escalas de tiempo continuamente.

Estamos viendo el paso de Modelos que leen a Sistemas que evolucionan.

👇 ¿Creen que este es el sucesor que estábamos esperando o solo otro paper más? Los leo en los comentarios.

📄 Paper: https://lnkd.in/eAfhiwJW

#ArtificialIntelligence #MachineLearning #DeepLearning #GoogleResearch #NLP #TechRevolution #Transformers #AI