Property Finder нашла перекос в разметке и снизила стоимость VLM на 86%

Property Finder, цифровая платформа недвижимости, обрабатывает десятки тысяч фотографий в день по всему региону MENA. Каждое изображение проверяется по 11 атрибутам, а у каждого объявления в среднем по 15 картинок. Команда хотела уйти от дорогой проприетарной vision-модели на более дешёвую на Amazon Bedrock, но упёрлась в неожиданную проблему: 96,8% эталонных меток были не результатом ручной проверки, а копией предсказаний той самой модели, которую собирались заменять. В итоге с AWS Generative AI Innovation Center они перестроили оценку, подобрали промпты и перешли на Llama 4 Maverick 17B Instruct: Micro F1 0,80 против 0,56 у прежней модели и 86% экономии.

Ответы, написанные заменяемой моделью

Схема знакома многим. Нужен датасет для сравнения моделей, под рукой работающий продакшен, который никто не ругает, значит его выход и берут как ground truth. Получается замкнутый круг: кандидат оценивается по близости к инкумбенту, а не по корректности. Любая альтернатива структурно в проигрыше ещё до первого запроса.

В данных Property Finder нашлись и прямые ошибки. В извлечении текста водяных знаков побуквенные неточности помечены как верные, включая выдуманные названия брендов и пропущенные символы. Классификация фото принуждала к одной метке, хотя на снимке видны несколько типов комнат. В оставшихся 3,2% меток, сделанных людьми, аннотаторы добавили категории вне спецификации, например Office.

Как собрали эталон и прогнали 27 версий промпта

Эксперты вручную разметили 356 изображений из ОАЭ независимо, без доступа к выходам старой модели. Первые 256 стали dev-набором для тюнинга, ещё 100 добавили позже, и все 356 пошли в финальное сравнение. Отдельный набор из Египта на 230 изображений использовали как кросс-региональную проверку, в отчёт он не вошёл. Разметку выполнял аналитик со знанием стандартов качества листингов, спорные случаи разбирали на сессиях с командой AWS.

Ключевое решение: переход с одной метки на мультилейбл. Фото коридора со спальней в дверном проёме действительно содержит обе комнаты. Метрики подобрали под задачу: Micro F1 как основная, Macro F1 для редких классов, precision/recall по меткам, IoU на уровне образца, а для девяти одно-лейбловых атрибутов ещё и exact-match accuracy.

Оптимизацию авторы описывают по аналогии с RL: версия промпта играет роль агента, Micro F1 служит наградой, анализ ошибок заменяет градиент. Идея близка к GEPA. Большинство версий рождалось из разбора ошибочных изображений с помощью ИИ-ассистентов, а в v27 для классификации фото подключили MIPROv2 из DSPy.

Что сработало по шагам:

• v0: общий промпт с классификацией по списку комнат • структурированный вывод и определения атрибутов • правило классифицировать по комнате, занимающей большую часть кадра • региональные правила: декоративная арабская надпись не считается водяным знаком, это убрало целый класс ложных срабатываний • v21: мультилейбл для фото и категории комнаты, общий старт для всех моделей; Llama 4 Maverick показала Micro F1 0,75 на dev-наборе • v24: завышение размера комнат, мультилейбл, формат вывода • v25: автооптимизированная версия, критичные задачи вынесены в начало • v27: MIPROv2 перестроил классификацию фото, Micro F1 на этой задаче 0,76 • v27_PF: плюс правила Property Finder для рендеров, рамок и коридоров, а после каждого вызова нормализация формата

Неудачи тоже полезны. Разделение на два вызова, отдельно водяные знаки и остальное, не дало заметного выигрыша, а детекция изображений с рамкой резко просела: без контекста водяных знаков модели принимали оверлеи за границы. Универсальные промпты не работали ни на одной модели.

Цифры, оговорки и стоимость

На 356 изображениях Llama 4 Maverick 17B Instruct с v27_PF дала Micro F1 0,80, проприетарная модель A с v22 — 0,56. На dev-наборе переход между моделями на их тюнингованных промптах поднял метрику с 0,55 до 0,81, то есть на 47% относительно. Один лишь тюнинг промпта на Llama дал рост с 0,75 до 0,81. Авторы честно предупреждают: оценочный набор включает dev-изображения, поэтому цифры оптимистичны. К тому же у Llama тюнинга было больше (v24–v27 плюс правила заказчика), у модели A только один раунд v22.

Exact-match по одно-лейбловым атрибутам на 356 изображениях:

• определение поворота: 100% • люди в кадре: 97% • изображение с рамкой: 97% • водяные знаки: 94% • рендеры: 93% • статус меблировки: 91% • комната на стадии строительства: 81% • размер комнаты: 65% • извлечение текста водяных знаков: 55%

Модель набрала 90% и выше по шести из девяти атрибутов и сравнялась или превзошла модель A по всем 11, а в классификации фото результат одинаковый. Слабые места очевидны: размер комнаты и OCR водяных знаков.

Стоимость оценена в $2,35 за 1000 изображений (US East, Ohio, декабрь 2025), что на 86% меньше прежней схемы. Расчёт исходит из 9000 входных и 200 выходных токенов на картинку по двухвызовному анализу. Реальный продакшен-промпт в одном вызове занимает 7500–8000 входных токенов, так что цифра верхняя. Сравнение идёт с оценкой прежней конфигурации на v21, а не на v22, поэтому её стоимость может отличаться. Задержка инференса по собственному мониторингу Property Finder снизилась на 40–60%.

Что проверить у себя

Начните с аудита меток: если они выросли из предсказаний модели, у вас та же проблема. Нужно несколько сотен репрезентативных образцов с независимой экспертной разметкой и отдельный тестовый сплит, который никогда не участвует в тюнинге. Для пересекающихся атрибутов берите мультилейбл-метрики и смотрите на Macro F1 рядом с Micro. Промпты правьте по разбору конкретных ошибочных изображений и держите по одному кандидату на семейство моделей. Для расширения датасета авторы предлагают гибрид: модели разных семейств предлагают метки и выявляют расхождения, а люди выносят вердикт по каждому случаю.