Apple ML Research estudia el alignment en LLM multimodales y su propensión a alucinar

Apple ML Research ha publicado un estudio exhaustivo sobre el alineamiento de preferencias (preference alignment) en los modelos de lenguaje multimodales (MLLM), sistemas capaces de procesar texto e imágenes al mismo tiempo. Según los autores, el alignment, que se ha convertido en un estándar para los LLM de texto, sigue estando mucho menos estudiado en el contexto multimodal.

Por qué las alucinaciones de los MLLM son más complejas que las habituales

Los modelos multimodales alucinan de forma distinta a los LLM de texto. Según los datos del estudio de Apple ML Research, en los sistemas de comprensión de imágenes las alucinaciones adoptan dos formas: errores factuales, cuando el modelo afirma hechos falsos sobre el mundo, e incoherencia de contenido, cuando la respuesta suena convincente pero contradice lo que realmente aparece en la imagen.

El segundo tipo es especialmente insidioso: si el modelo describe como roja un coche azul de una foto, o califica de invernal una imagen veraniega, no se trata de un fallo de conocimiento, sino de un error de «visión». El alignment para sistemas multimodales se centra precisamente en combatir este problema.

«El objetivo principal del alignment para los MLLM es animar a estos modelos a ajustar sus respuestas a la información de la imagen», señala la publicación de

Apple ML Research.

Cómo funciona el preference alignment

El preference alignment es una técnica de ajuste fino en la que se presentan al modelo pares de respuestas y se indica cuál de ellas es «preferible» según criterios determinados. En los LLM de texto, este enfoque, que incluye el RLHF (Reinforcement Learning from Human Feedback) y sus derivados, se convirtió en el estándar de facto tras la aparición de InstructGPT y ChatGPT. Para los sistemas multimodales, hasta ahora apenas se habían realizado investigaciones sistemáticas de este tipo.

Las tesis clave del trabajo:

• El preference alignment es crítico para la calidad de los LLM, pero su influencia en los MLLM apenas se ha investigado
• En los MLLM, el alignment resuelve una tarea adicional: vincular la respuesta del modelo con el contenido visual real
• Las alucinaciones en los MLLM se dividen en dos tipos: factuales y visuales (falta de correspondencia con la imagen)
• Apple ML Research realiza un análisis comparativo sistemático de técnicas de alignment aplicadas a tareas de comprensión de imágenes

Según el estudio, este trabajo es uno de los primeros intentos exhaustivos de cerrar la brecha entre lo bien estudiado que está el alignment en los modelos de texto y lo poco que se sabe de su efecto en los sistemas multimodales.

Por qué importa a la industria

Hoy los modelos multimodales se emplean en diagnóstico médico, moderación de contenidos y asistentes de consumo, desde Google Lens hasta Apple Intelligence. En cada uno de estos escenarios, una alucinación del tipo «veo lo que no hay» sale incomparablemente más cara que un error de texto: una radiografía mal interpretada o un objeto mal identificado en la carretera tienen consecuencias directas.

El estudio de Apple ML Research llega en un momento en que los sistemas multimodales pasan de prototipos de laboratorio a una adopción masiva. Entender cómo el alignment moldea la precisión de la «visión» del modelo se está convirtiendo en una cuestión fundamental para todo el sector.

Qué significa

El trabajo de Apple ML Research deja constancia de una laguna sistémica: la industria desarrolla y despliega activamente modelos multimodales, pero el mecanismo que los alinea con el contenido real de las imágenes seguía poco estudiado. Si las conclusiones del estudio sirven de base para nuevos métodos de entrenamiento, influirán directamente en la calidad de los productos que trabajan con contenido visual, incluidos Apple Intelligence y sistemas similares.