Apple ML Research étudie l'alignement des LLM multimodaux et leur propension aux hallucinations

Apple ML Research a publié une étude approfondie sur l'alignement des préférences (preference alignment) dans les modèles de langage multimodaux (MLLM), des systèmes capables de traiter simultanément du texte et des images. Selon les auteurs, l'alignement, devenu un standard pour les LLM textuels, reste nettement moins étudié dans le contexte multimodal.

Pourquoi les hallucinations des MLLM sont plus complexes que celles

des LLM classiques

Les modèles multimodaux n'hallucinent pas comme les LLM textuels. D'après l'étude d'Apple ML Research, dans les systèmes de compréhension d'images, les hallucinations prennent deux formes : les erreurs factuelles, lorsque le modèle énonce des faits erronés sur le monde, et l'incohérence de contenu, lorsque la réponse paraît convaincante mais contredit ce qui est réellement représenté sur l'image.

Le second type est particulièrement insidieux : si le modèle décrit comme rouge la voiture bleue d'une photo, ou qualifie d'hivernal un cliché estival, il ne s'agit pas d'une erreur de connaissances, mais d'une erreur de « vision ». C'est précisément ce problème que l'alignement des systèmes multimodaux cherche à corriger.

« L'objectif principal de l'alignement pour les MLLM est d'inciter ces modèles à aligner leurs réponses sur les informations de l'image », indique la publication d'Apple ML

Research.

Comment fonctionne le preference alignment

Le preference alignment est une technique de fine-tuning : on présente au modèle des paires de réponses et on indique laquelle est « préférable » selon des critères donnés. Dans les LLM textuels, cette approche, y compris le RLHF (Reinforcement Learning from Human Feedback) et ses dérivés, est devenue un standard de facto après l'apparition d'InstructGPT et de ChatGPT. Pour les systèmes multimodaux, on n'a pratiquement mené jusqu'ici aucune recherche systématique comparable.

Principaux points de l'étude :

• Le preference alignment est déterminant pour la qualité des LLM, mais son influence sur les MLLM reste pratiquement inexplorée
• Dans les MLLM, l'alignement répond à un enjeu supplémentaire : ancrer la réponse du modèle dans le contenu visuel réel
• Les hallucinations des MLLM se répartissent en deux types : factuelles et visuelles (non-conformité à l'image)
• Apple ML Research mène une analyse comparative systématique des techniques d'alignement appliquées aux tâches de compréhension d'images

Selon l'étude, ce travail constitue l'une des premières tentatives globales de combler l'écart entre le niveau de connaissance de l'alignement pour les modèles textuels et le peu que l'on sait de son influence sur les systèmes multimodaux.

Pourquoi c'est important pour l'industrie

Les modèles multimodaux sont aujourd'hui utilisés dans le diagnostic médical, la modération de contenu et les assistants grand public, de Google Lens à Apple Intelligence. Dans chacun de ces scénarios, l'hallucination du type « je vois autre chose que ce qui est là » coûte incomparablement plus cher qu'une erreur textuelle : une radiographie mal interprétée ou un objet mal identifié sur la route ont des conséquences directes.

L'étude d'Apple ML Research paraît au moment où les systèmes multimodaux passent du prototype de laboratoire au déploiement de masse. Comprendre comment l'alignement façonne la précision de la « vision » du modèle devient une question fondamentale pour toute la filière.

Ce que cela signifie

Le travail d'Apple ML Research met en évidence une lacune systémique : l'industrie développe et déploie activement des modèles multimodaux, mais le mécanisme qui les aligne sur le contenu réel des images restait peu étudié. Si les conclusions de l'étude servent de base à de nouvelles méthodes d'entraînement, elles influeront directement sur la qualité des produits qui traitent du contenu visuel, notamment Apple Intelligence et les systèmes similaires.