Табулярные данные и изображения: почему выбор кодировщика критичен

Исследователи впервые систематически оценили табулярные модели как кодировщики в задачах мультимодального обучения, где нейросеть должна одновременно понимать таблицы и изображения. Традиционный подход — использовать простой MLP для таблиц — оказался неоптимальным.

Почему MLP недостаточен для табулярных данных?

Мультимодальное обучение требует отдельного кодировщика для каждого типа данных. Если модель работает с изображениями и таблицами одновременно, нужны специализированные сети для обработки каждого. Для изображений давно используют мощные CNN или Vision Transformers; для текста — языковые модели. Но для табулярных данных большинство исследователей просто брали простой MLP.

Табулярные данные (таблицы в базах данных, CSV-файлы, электронные таблицы) — известная проблемная область для глубокого обучения. Это называют «последним неоткрытым замком машинного обучения». Существуют лучшие модели для работы с таблицами — например, специализированные архитектуры на основе внимания и in-context learning, но их редко используют как кодировщики в мультимодальном контексте.

• Впервые состояние-искусства табулярные модели оценены как кодировщики в мультимодальных задачах
• Простой MLP — стандарт де-факто в многих исследованиях, но далеко от оптимального
• In-Context Learning модели входят в лучших по качеству для табулярных данных

Какую проблему создают лучшие модели?

Главная сложность — лучшие табулярные модели, особенно на основе In-Context Learning, требуют знать целевую переменную (метку) для корректной обработки примера. Это создаёт практический парадокс: как одинаково закодировать обучающие примеры (которые имеют метки во время тренировки) и тестовые примеры (которые меток не имеют)?

In-Context Learning модели работают, глядя на несколько примеров с метками, чтобы понять задачу. Когда вы применяете такую модель как кодировщик для картинок-таблиц, возникает несоответствие. На этапе обучения модель видит метки, на этапе тестирования — нет. Авторы исследования разработали методы для решения этой проблемы, адаптировав несколько семейств In-Context Learning моделей так, чтобы они работали последовательно как в обучении, так и в тестировании.

Что это означает для инженеров?

Исследование подчёркивает, что выбор кодировщика — часто недооценённый критичный фактор в мультимодальном обучении. Использование более мощных табулярных моделей вместо простого MLP может значительно улучшить качество всей системы.

Это важно для реальных приложений, где табулярные данные часто комбинируют с другими модальностями: данные клиента в таблице + фото товара в e-commerce, таблица параметров устройства + визуализация состояния в промышленности, таблица пациента + медицинские снимки в healthcare.

Что это значит

Результаты показывают, что табулярные данные становятся более конкурентоспособны в мультимодальных системах при правильном выборе кодировщика. ML-инженеры могут добиться лучших результатов, если перестанут экономить на качестве табулярной части архитектуры. Особенно это актуально в применениях, где таблицы и табулярная информация критичны: финтех, медицина, логистика, финансы. Исследование открывает путь к более вдумчивому проектированию мультимодальных моделей.