Câmera estéreo vestível estima volume de comida com erro de 9,1% sem objeto de referência

Os autores do preprint arXiv 2610.12735 propõem estimar o volume de comida a partir de uma única gravação estéreo feita por uma câmera vestível. O método dispensa celular, série de fotos e moeda ao lado do prato para dar escala. Em cinco pratos gravados, o erro percentual absoluto médio do volume foi de 9,1%. O trabalho se apresenta como um passo rumo ao registro passivo da alimentação, em que a pessoa apenas come e o sistema calcula as porções sozinho.

De onde vem a escala

Os métodos estéreo atuais de estimativa de porções dependem do esforço do usuário. É preciso fotografar o prato de vários ângulos com o celular ou colocar no quadro um objeto de tamanho conhecido. Sem isso, a reconstrução sai correta na forma, mas com tamanho desconhecido. Para um monitoramento alimentar regular, esse cenário é incômodo: cada refeição vira um pequeno procedimento.

Os autores usam o que o dispositivo vestível já tem por padrão. Primeiro, a linha de base estéreo é calibrada na fábrica, ou seja, a distância entre as lentes é conhecida com precisão, e a profundidade obtida a partir da disparidade já sai em metros. Segundo, o próprio aparelho estima as poses da câmera por odometria visual-inercial (VIO). Juntos, esses dois elementos fornecem escala métrica sem objeto de referência na cena e sem configuração manual.

Como funciona o pipeline

O sistema é montado inteiramente com componentes prontos, e nenhum deles foi treinado especificamente para comida:

• FoundationStereo — correspondência estéreo em modo zero-shot, gerando mapas de profundidade a partir de um par de quadros;
• SAM 2 — segmentação do prato, para separar a comida do prato em si e da mesa;
• Fusão TSDF sobre um conjunto de quadros-chave — combina os mapas de profundidade em uma única malha 3D (mesh).

O resultado é uma malha de qualquer alimento no prato, em escala física real, e o volume é calculado a partir dela. Os autores ressaltam que a reconstrução é totalmente automática e parte de uma única gravação estéreo.

Principais parâmetros do trabalho:

• entrada: uma gravação estéreo de um dispositivo vestível egocêntrico;
• escala: linha de base estéreo de fábrica mais poses da câmera obtidas por VIO, sem objeto de referência;
• saída: malha 3D do prato, visualmente e metricamente precisa;
• amostra: cinco pratos;
• erro percentual absoluto médio do volume: 9,1%.

O que ainda não está comprovado

Cinco pratos servem como demonstração de viabilidade, não como benchmark. Trata-se de um preprint na primeira versão, que não passou por revisão por pares. O resumo não traz comparação com métodos baseados em celular nem com abordagens que usam objeto de referência, então não dá para dizer se 9,1% é melhor ou pior que as alternativas. Também não se sabe como o pipeline se comporta com molhos transparentes, sopas, pratos com oclusões, iluminação ruim e movimento da cabeça durante a refeição.

Outra questão é o que fazer com o volume depois. Para calcular calorias e nutrientes, é preciso saber o tipo de prato e sua densidade, uma tarefa diferente que o método não resolve. O volume apenas elimina um dos problemas mais incômodos: a incerteza sobre o tamanho da porção.

Onde isso pode ser útil

O nicho mais evidente são os dispositivos vestíveis com câmeras estéreo e VIO integrada, como óculos inteligentes. Se a calibração de fábrica e as poses estiverem disponíveis via API, o desenvolvedor de apps de nutrição poderá obter a geometria métrica do prato sem exigir nada do usuário. Para pesquisadores em dietética, a abordagem promete uma coleta de dados menos intrusiva que os diários fotográficos.

Há três pontos a acompanhar na evolução do trabalho: se surgirá uma amostra ordens de grandeza maior que cinco pratos, se haverá comparações diretas com métodos que exigem referência e se os autores vão demonstrar robustez em condições reais, e não em filmagens encenadas.