Как маленькая модель обошла GPT-5 и Claude Opus на португальском OCR

Dharma AI опубликовала бенчмарк, который ставит под сомнение базовое предположение enterprise-AI: что больше параметров = лучше результат. Их 3-миллиардная модель, обученная специально на португальский OCR, обошла Claude Opus 4.6, Gemini 3.1 Pro и GPT-5.4 одновременно на качество, стабильность и стоимость.

Когда параметры вообще не главное

Dharma-OCR набрала 0.911 балла на браузильском португальском тексте, Claude Opus — 0.833. Текстовое искажение: 0.20% против неизвестных показателей у конкурентов. И всё это при стоимости в 52 раза ниже. Ученые не заявляют, что frontier-модели плохие. Они говорят другое: когда модель обучалась близко к реальной задаче развёртывания, количество параметров перестаёт быть решающим фактором.

Три уровня специализации Дело не в том, чтобы просто сжать модель.

Авторы выделили иерархию: Level 1 — генерального назначения: Qwen 2.5, GPT — обучены на широких распределениях Level 2 — доменные специалисты: модели для общего OCR, которые видели много тестов и документов * Level 3 — узкие специалисты: Dharma-OCR обучена только на португальский + специфику бразильских документов Эффект накапливается. На 7B параметрах общая Qwen даёт 0.906, а OCR-специалист olmOCR — 0.927 (2.3% плюс). На 3B параметрах разрыв ещё больше: Nanonets-OCR2 обошла Qwen в 16% качества и в 7 раз снизила текстовое искажение.

Переосмысление выбора моделей

Cейчас enterprise выбирает по логике: "какая самая продвинутая модель в маркетплейсе?" Статья предлагает добавить вопрос: "насколько близко эта модель обучалась к моей задаче?"

«Параметры и масштаб не перестали быть важны.

Но специализация — переменная, которую систематически недооценивают в контрактах и RFP», — авторы. Это меняет калькуляцию ROI. 52x экономия на стоимости при лучшем качестве — это не интересный факт, это сигнал к переструктурированию AI-стека. Вместо одной универсальной модели компании могут собрать экосистему: по одной обучённой для OCR, одна для классификации, одна для чата.

Что это значит До конца 2025-го доминировал тренд: "всегда берите самую большую model из списка".

Dharma AI добавляет переменную: прежде чем платить за Opus, проверьте, есть ли модель, которая видела именно ваши документы. Может быть, там уже есть ответ за копейки.