Apple ML Research изучила alignment в мультимодальных LLM и их склонность к галлюцинациям

Apple ML Research ha publicado un estudio exhaustivo sobre el alineamiento de preferencias (preference alignment) en los modelos de lenguaje multimodales (MLLM) — sistemas capaces de procesar texto e imágenes simultáneamente. Los autores sostienen que el alignment, que se ha convertido en el estándar para los LLM de texto, sigue siendo significativamente menos estudiado en el contexto multimodal.

Por

Qué las Alucinaciones de los MLLM Son Más Complejas que las Habituales

Los modelos multimodales alucinan de manera diferente a los LLM de texto. Según el estudio de Apple ML Research, en los sistemas de comprensión de imágenes las alucinaciones se manifiestan de dos formas: errores factuales — cuando el modelo afirma datos incorrectos sobre el mundo — e inconsistencia de contenido — cuando la respuesta suena convincente pero contradice lo que realmente aparece en la imagen.

El segundo tipo es especialmente insidioso: si un modelo describe un coche azul en una foto como rojo, o etiqueta una imagen de verano como invierno — no se trata de un error de conocimiento, sino de un error de "visión". Es precisamente contra esto contra lo que se dirige el alignment para los sistemas multimodales.

"El objetivo principal del alignment para los MLLM es animar a estos modelos a fundamentar sus respuestas en la información de la imagen", señala la publicación de

Apple ML Research.

Cómo Funciona el Preference Alignment

El preference alignment es una técnica de ajuste fino en la que se presentan al modelo pares de respuestas y se etiqueta cuál es "preferible" según criterios determinados. En los LLM de texto, este enfoque — incluido el RLHF (Reinforcement Learning from Human Feedback) y sus derivados — se ha convertido en el estándar de facto desde la aparición de InstructGPT y ChatGPT. Para los sistemas multimodales, hasta ahora apenas se habían realizado estudios sistemáticos de este tipo.

Tesis clave del trabajo:

• El preference alignment es de importancia crítica para la calidad de los LLM, pero su impacto en los MLLM apenas ha sido investigado
• En los MLLM, el alignment resuelve un desafío adicional: anclar la respuesta del modelo en el contenido visual real
• Las alucinaciones en los MLLM se dividen en dos tipos: factuales y visuales (inconsistencia con la imagen)
• Apple ML Research lleva a cabo un análisis comparativo sistemático de las técnicas de alignment aplicadas a tareas de comprensión de imágenes

Según el estudio, este trabajo es uno de los primeros intentos exhaustivos de colmar la brecha entre lo bien que se comprende el alignment para los modelos de texto y lo poco que se sabe sobre su impacto en los sistemas multimodales.

Por Qué Esto Es Importante para la Industria

Los modelos multimodales se utilizan hoy en día en diagnóstico médico, moderación de contenidos y asistentes para consumidores — desde Google Lens hasta Apple Intelligence. En cada uno de estos escenarios, la alucinación de "ver lo que no existe" tiene un coste incomparablemente mayor que un error textual: una radiografía interpretada incorrectamente o un objeto mal identificado en la carretera tienen consecuencias directas.

El estudio de Apple ML Research surge en el momento en que los sistemas multimodales están pasando de los prototipos de laboratorio a la implantación masiva. Comprender cómo el alignment conforma la precisión de la "visión" de un modelo se está convirtiendo en una cuestión fundamental para toda la industria.

Qué Significa Esto

El trabajo de Apple ML Research identifica una brecha sistémica: la industria está desarrollando e implementando activamente modelos multimodales, pero el mecanismo para alinearlos con el contenido real de las imágenes había permanecido poco estudiado. Si las conclusiones del estudio sirven de base para nuevos métodos de entrenamiento, esto afectará directamente a la calidad de los productos que trabajan con contenido visual — incluidos Apple Intelligence y sistemas similares.