LeCun pide en ECCV 2026 pasar de la generación de píxeles a los modelos del mundo

La Conferencia Europea de Visión por Computador, ECCV, se celebra cada dos años y, en septiembre de 2026, tuvo lugar en Malmö, Suecia. Viktor Yurchenko, responsable del equipo de simulación de sensores para visión por computador de Yandex, volvió con unas notas del encuentro. Hemos extraído lo más útil para quienes desarrollan productos basados en generación, multimodalidad y conducción autónoma.

Las cifras y el gran debate: píxeles frente a representaciones

La conferencia recibió 10.473 trabajos y aceptó 2.834; solo 163 fueron seleccionados para una presentación oral (1,6%). La generación de imágenes y vídeo fue el tema más numeroso con una diferencia considerable, seguido de los modelos de visión y lenguaje con razonamiento y del 3D. El entusiasmo por la IA generativa todavía no se ha apagado.

La conferencia principal de Yann LeCun sirvió de contrapeso ideológico. Recordó que la IA ya escribe código y resuelve problemas matemáticos con soltura, pero se desenvuelve mal en el mundo físico: el vídeo, el audio y las señales de sensores sin procesar siguen siendo datos difíciles de manejar, y los agentes necesitan demasiadas demostraciones. Su propuesta:

• Dejar de predecir el siguiente fotograma. El futuro es ambiguo a nivel de píxel, y ese grado de detalle suele ser innecesario para elegir acciones.
• Predecir en el espacio de representaciones. Así funciona JEPA: un codificador codifica el objetivo, un predictor utiliza el contexto para predecir su representación y el error se calcula entre representaciones. Los detalles impredecibles se descartan en el proceso.
• Planificar mediante control predictivo basado en modelos. Un modelo del mundo simula las consecuencias de las acciones y el sistema busca una secuencia que conduzca al objetivo. El RL conserva el papel de crítico o de herramienta para ajustar el modelo.
• Construir una jerarquía. Los niveles superiores trabajan con cambios abstractos en horizontes temporales largos y fijan subobjetivos para los inferiores.

La conclusión de LeCun fue tajante: los investigadores que aspiran a una IA de nivel humano deberían desplazar su atención de los LLM y las arquitecturas generativas hacia el aprendizaje de representaciones y los modelos del mundo. Es la postura de uno de los participantes en el debate, no un hecho demostrado. Pero, para quienes deciden el rumbo de su I+D, es una señal relevante.

Investigaciones que se pueden llevar a la práctica

Yandex presentó tres trabajos, todos con aplicaciones prácticas.

El primero demuestra que los modelos autorregresivos sirven para clasificar imágenes. El método, basado en RandAR, promedia las puntuaciones obtenidas con distintos órdenes aleatorios de los tokens visuales. En ImageNet-Val, RandAR-XL alcanza un 81,3% de precisión top-1, frente al 77,2% de DiT-XL y al 82,7% de DINOv2-XL. La aceleración de hasta 25 veces se midió frente a un clasificador DiT en una sola A100. Ante cambios en la distribución de los datos, por ejemplo en ImageNet-A, RandAR rindió por debajo de DINOv2.

El segundo, DuET, resulta útil para quienes trabajan en edición de imágenes. Si un modelo unificado permite tanto generar como editar, se puede desactivar temporalmente el condicionamiento de la imagen original durante la inferencia y después restablecerlo. En FLUX2-Klein 4B, al aplicar el cambio en los pasos [25, 35) de un total de 50, la puntuación de calidad en GEdit sube de 7,46 a 8,01.

La contrapartida es que el SSIM en GIE-Bench baja de 0,815 a 0,749, es decir, los detalles de la imagen original cambian de forma más perceptible. La variante Selective DuET mantiene la preservación dentro del umbral de un evaluador VLM, pero no se trata de una evaluación humana ni de una garantía para cualquier edición.

El tercero es una evaluación comparativa rigurosa de ocho métodos sin entrenamiento basados en Classifier-Free Guidance, sobre Stable Diffusion 3.5 Medium y FLUX.2 4B Base. Los autores lamentan que, entre la avalancha de artículos, los nuevos métodos se comparen a menudo con pruebas poco exigentes y modelos obsoletos. Para quienes estén eligiendo un método de guidance para producción, es una referencia útil.

Conducción autónoma: el simulador es el cuello de botella

En el taller sobre autonomía fiable se repitieron las mismas ideas. Los planificadores basados en aprendizaje automático avanzan hacia enfoques de extremo a extremo, la industria ya utiliza el posentrenamiento con RL en simulación y los investigadores prueban el entrenamiento desde cero y el self-play. Para ello hace falta un simulador rápido que reproduzca los sensores con calidad, y sigue siendo un problema sin resolver: incluso NVIDIA se encuentra a menudo con la brecha entre simulación y realidad. Los registros por sí solos no bastan para conseguir un planificador fiable; hace falta un modelo del mundo que genere escenarios complejos.

La investigación académica tropieza con la validación en vehículos reales. Los autores de PRIX, que lograron resultados de vanguardia en varias pruebas de referencia, reconocieron en su última diapositiva que no saben cómo se comportará el modelo en un coche real con capacidad de cómputo limitada.

Motional está abordando las situaciones poco frecuentes, como unas obras viales complejas o un objeto caído en medio de la carretera. La empresa publicó un conjunto de datos de 20.000 escenas de 20 segundos cada una (111 horas): cámaras, lídares, mapas HD, anotaciones y etiquetas de razonamiento. Gemini 3.1 Pro seleccionó las escenas difíciles mediante una escala de 10 puntos y después las revisaron personas. El razonamiento es de tres tipos: espacial, sobre la decisión tomada y contrafactual («qué habría pasado si hubiéramos acelerado en lugar de frenar»). El ajuste fino de un VLM con estas preguntas y respuestas mejoró el resultado.

Qué hacer con todo esto

• Si trabajas en edición de imágenes, prueba la idea de DuET: no requiere entrenamiento, pero vigila la conservación de los detalles.
• Si desarrollas planificadores para sistemas autónomos, invierte en simulación de sensores y en recopilar escenas poco frecuentes, además de trabajar en la arquitectura.
• Si estás eligiendo una línea de investigación, ten en cuenta el debate «LLM frente a modelos del mundo»: por ahora es la postura de LeCun, no un consenso.

Ten presentes también las limitaciones de la fuente: es el informe personal de un participante de Yandex, no una revisión independiente, y buena parte del texto recoge afirmaciones sin verificarlas por su cuenta.