Une caméra stéréo portable estime le volume d'un repas avec 9,1% d'erreur, sans objet de référence

Les auteurs du preprint arXiv 2610.12735 proposent d'estimer le volume d'un repas à partir d'un seul enregistrement stéréo réalisé avec une caméra portable. Ils n'ont besoin ni d'un smartphone, ni d'une série de photos, ni d'une pièce de monnaie posée à côté de l'assiette pour donner l'échelle. Sur cinq plats enregistrés, l'erreur absolue moyenne en pourcentage sur le volume s'élève à 9,1%. Les auteurs présentent ce travail comme une étape vers un suivi alimentaire passif : la personne mange, et le système calcule seul les portions.

D'où vient l'échelle

Les méthodes stéréo d'estimation des portions reposent aujourd'hui sur l'effort de l'utilisateur. Il faut photographier le plat sous plusieurs angles avec un smartphone, ou placer dans le champ un objet de taille connue. Sans cela, la reconstruction a la bonne forme, mais une taille inconnue. Pour un suivi régulier de l'alimentation, ce scénario est peu pratique : chaque repas devient une petite procédure.

Les auteurs exploitent ce dont dispose déjà un dispositif portable. Premièrement, la base stéréo est calibrée en usine : la distance entre les objectifs est connue avec précision, et la profondeur déduite de la disparité s'exprime directement en mètres. Deuxièmement, le dispositif estime lui-même les poses de la caméra par odométrie visuo-inertielle (VIO). L'ensemble fournit une échelle métrique sans objet de référence dans la scène et sans réglage manuel.

Comment fonctionne le pipeline

Le système est entièrement assemblé à partir de composants existants, dont aucun n'a été entraîné spécifiquement sur de la nourriture :

• FoundationStereo — appariement stéréo en zero-shot, cartes de profondeur à partir d'une paire d'images ;
• SAM 2 — segmentation du plat, pour séparer les aliments de l'assiette et de la table ;
• Fusion TSDF sur un ensemble d'images clés — agrégation des cartes de profondeur en un maillage 3D (mesh) unique.

En sortie, le pipeline produit un maillage de n'importe quel plat posé dans l'assiette, à l'échelle physique réelle, et le volume en est calculé. Les auteurs soulignent que la reconstruction est entièrement automatique et repose sur un seul enregistrement stéréo.

Paramètres clés de l'étude :

• entrée : un seul enregistrement stéréo issu d'un dispositif portable égocentrique ;
• échelle : base stéréo calibrée en usine et poses de caméra issues de la VIO, sans objet de référence ;
• sortie : un maillage 3D du plat, fidèle visuellement et métriquement ;
• échantillon : cinq plats ;
• erreur absolue moyenne en pourcentage sur le volume : 9,1%.

Ce qui n'est pas encore démontré

Cinq plats, c'est une démonstration de faisabilité, pas un benchmark. Il s'agit d'un preprint en première version, qui n'a pas fait l'objet d'une relecture par les pairs. L'abstract ne contient aucune comparaison avec des méthodes sur smartphone ni avec des approches à objet de référence : impossible donc de dire si 9,1% est meilleur ou moins bon que les alternatives. On ignore aussi comment le pipeline se comporte avec des sauces transparentes, des soupes, des plats présentant des occlusions, un mauvais éclairage ou des mouvements de tête pendant le repas.

Reste une autre question : que faire du volume ensuite. Pour estimer calories et nutriments, il faut connaître le type de plat et sa densité. C'est un autre problème, que la méthode ne résout pas. Le volume lève seulement l'une des difficultés les plus gênantes : l'incertitude sur la portion.

À quoi cela peut servir

La niche la plus évidente concerne les dispositifs portables dotés de caméras stéréo et d'une VIO intégrée, comme les lunettes connectées. Si la calibration d'usine et les poses sont accessibles via une API, un développeur d'application de nutrition peut obtenir la géométrie métrique du plat sans rien exiger de l'utilisateur. Pour les chercheurs en diététique, cette approche promet une collecte de données moins intrusive que les journaux photo.

Trois points méritent d'être suivis : l'apparition d'un échantillon supérieur de plusieurs ordres de grandeur à cinq plats, des comparaisons directes avec les méthodes qui exigent une référence, et une démonstration de robustesse en conditions réelles, et non sur des prises de vue mises en scène.