Носимая стереокамера оценила объём еды с ошибкой 9,1% без эталонного предмета

Авторы препринта arXiv 2610.12735 предложили оценивать объём еды по одному стереоролику с носимой камеры. Телефон, серия снимков и монетка рядом с тарелкой для масштаба им не нужны. На пяти записанных блюдах средняя абсолютная процентная ошибка объёма составила 9,1%. Работа позиционируется как шаг к пассивному учёту питания, при котором человек просто ест, а система считает порции сама.

Откуда берётся масштаб

Стереометоды оценки порций сегодня опираются на усилия пользователя. Нужно снять блюдо с нескольких ракурсов на телефон или положить в кадр предмет известного размера, иначе реконструкция получится правильной по форме, но неизвестной по размеру. Для регулярного мониторинга питания такой сценарий неудобен: каждый приём пищи превращается в небольшую процедуру.

Авторы берут то, что есть у носимого устройства по умолчанию. Во-первых, стереобаза откалибрована на заводе, то есть расстояние между объективами известно точно, и глубина из диспаритета сразу выражается в метрах. Во-вторых, позы камеры устройство оценивает само с помощью визуально-инерциальной одометрии (VIO). Вместе это даёт метрический масштаб без эталонного объекта в сцене и без ручной настройки.

Как устроен пайплайн

Система целиком собрана из готовых компонентов, причём ни один из них не обучался специально под еду:

• FoundationStereo — стереосопоставление в режиме zero-shot, карты глубины по паре кадров;
• SAM 2 — сегментация блюда, чтобы отделить еду от тарелки и стола;
• TSDF-слияние по набору ключевых кадров — объединение карт глубины в единую 3D-сетку (mesh).

На выходе получается меш любого блюда на тарелке в истинном физическом масштабе, по нему считается объём. Авторы подчёркивают, что реконструкция полностью автоматическая и строится по одной стереозаписи.

Ключевые параметры работы:

• вход: одна стереозапись с эгоцентричного носимого устройства;
• масштаб: заводская стереобаза плюс позы камеры из VIO, без референсного объекта;
• выход: визуально и метрически точный 3D-меш блюда;
• выборка: пять блюд;
• средняя абсолютная процентная ошибка объёма: 9,1%.

Что здесь пока не доказано

Пять блюд — это демонстрация осуществимости, а не бенчмарк. Это препринт первой версии, рецензирования он не проходил. В аннотации нет сравнения с телефонными методами или подходами с референсным объектом, поэтому судить, насколько 9,1% лучше или хуже альтернатив, нельзя. Неизвестно и то, как пайплайн поведёт себя на прозрачных соусах, супах, блюдах с перекрытиями, при плохом освещении и в движении головы во время еды.

Отдельный вопрос — что делать с объёмом дальше. Для калорий и нутриентов нужны тип блюда и его плотность, а это уже другая задача, которую метод не решает. Объём лишь снимает одну из самых неудобных проблем: неопределённость порции.

Где это пригодится

Самая очевидная ниша — носимые устройства со стереокамерами и встроенной VIO, например умные очки. Если заводская калибровка и позы доступны в API, разработчик приложений для питания может получать метрическую геометрию блюда без требований к пользователю. Исследователям диетологии такой подход обещает менее навязчивый сбор данных, чем фотодневники.

За развитием работы стоит следить по трём вещам: появится ли выборка на порядки больше пяти блюд, будут ли прямые сравнения с методами, требующими референс, и покажут ли авторы устойчивость к реальным условиям, а не к постановочной съёмке.