DeepSeek Flash решает задачи на Delphi в 12 раз дешевле Sonnet 5.5 и GPT-6.1 Sol
Публичные рейтинги не помогают выбрать агента для Delphi, поэтому автор лабораторного софта прогнал семь моделей на 20 задачах из своих закрытых репозиториев. DeepSeek V4.1 Flash обошёлся в 12 раз дешевле Sonnet 5.5 и GPT-6.1 Sol: у них набор стоит около $10, по $0,46–$0,55 за задачу. Но у Sonnet 5.5 одна задача обнулилась из-за лишнего предупреждения компилятора. Поэтому оценивайте агента на своём коде и считайте warning'и.
AI-обработка оригинала Хабр: Машинное обучение; редакция Hamidun News
Если вы пишете на Delphi, публичные рейтинги кодинг-моделей вам почти не помогут: они проверяют совсем другие задачи, а лидеры таблиц регулярно ломают формы VCL. Автор, который много лет делает на Delphi научный и лабораторный софт, решил проверить агентов на своём коде. Он взял 20 реальных задач из трёх закрытых репозиториев и прогнал на них семь облачных и локальных моделей. Главный итог по деньгам: DeepSeek V4.1 Flash проходит весь набор примерно в 12 раз дешевле, чем Sonnet 5.5 и GPT-6.1 Sol. У двух последних весь набор из 20 задач стоит около $10, то есть $0,46–$0,55 за одну задачу. Главный итог по качеству неожиданнее: даже сильная модель может получить ноль за задачу, у которой все тесты зелёные.
Как устроена проверка
Репозитории — программа рентгеновской рефлектометрии X-Ray Calc 3, ПО для трибометра и клиент электронного журнала с сервером MCP. Все три закрытые, поэтому готовых решений в обучающих выборках моделей нет. Скрипт прошёл по истории и нашёл 1547 коммитов с исправлениями ошибок и мелкими доработками: 831 в журнале, 443 в X-Ray Calc 3 и 273 в трибометре. Из них отобрали 20 задач: 11 на логику, расчёты и потоки и 9 на формы, таблицы, графики и диалоги VCL.
Примеры задач понятны любому разработчику. Числа в JSON округлялись функцией, которая не справлялась с очень малыми значениями, и подгонка профиля плёнки падала с ошибкой. Поле границы оси на графике пересчитывалось при каждом нажатии клавиши, поэтому на промежуточном вводе «1» или «1e» при наборе 1e-8 программа реагировала на недописанное число. Инструмент работы с базой падал на вложенных транзакциях FireDAC. А в меню справки нужно было добавить проверку обновлений на GitHub с проверкой контрольной суммы SHA-256.
Каждую задачу проверили компилятором RAD Studio 37.0: до исправления проект собирается, а новые тесты DUnitX падают; после авторского исправления собирается всё и тесты проходят. Консольный агент получал чистую копию репозитория, описание и команду сборки. Файлы с подсказками для агентов удалили, языковой сервер отключили, лимит поставили 45 минут. Режимов два: без инструкций и с навыком delphi-development, где описаны структура проектов и четыре правила. Среди них: визуальные компоненты только в .dfm, пара TImageCollection и TVirtualImageList вместо TImageList, освобождение локальных объектов через try..finally. Задача не засчитывается, если число предупреждений компилятора выросло выше исходного уровня.
Кто что показал
DeepSeek Flash и Claude Haiku 5.5 запускали по три раза на задачу, остальные модели — по одному. У всех облачных моделей был высокий уровень рассуждений. DeepSeek Flash с навыком прошёл все тесты в 60 запусках из 60, а по строгой шкале набрал 58 из 60. На задачу он тратит в среднем 337–383 секунды. Он же обошёл по точности близкую по цене Haiku 5.5: у неё $0,061 за задачу и 83–88% успешных запусков.
GPT-6.1 Terra вышла за день до публикации. По тарифам OpenAI она стоит $1, $5 и $0,05 за миллион входных, выходных и кэшированных токенов, вдвое дешевле Sol. Набор обошёлся ей в $3,52–$3,56, втрое дешевле Sol и Sonnet. По тестам у Terra 19 из 20 (95%). Задачу с автообновлением XRC-09, на которой Sol провалилась в обоих режимах, Terra сдала с первой попытки. Sol обычно сидит над задачей по 7–11 минут, а на двух задачах журнала без навыка выбрала весь 45-минутный лимит.
Вне таблицы остались Gemini 4 Argon (остановили после 24 запусков из-за скорости), GLM 5.3 Flash (на OpenRouter кончился баланс после четвёртой задачи) и Claude Opus 5.5 (две пробные задачи: Sonnet и так справилась).
Как один warning обнулил почти всех
Самая показательная история — задача XRC-06: добавить кнопку очистки результатов из файла проекта, который внутри обычный zip-архив. Sonnet 5.5 прошла все 20 задач по тестам, но получила 19 из 20 по строгой шкале. Причина — не в логике. Все 37 скрытых тестов проходили, но в проекте уже было одно предупреждение компилятора W1002 («символ зависит от платформы») в существующей функции записи архива. Sol и первая попытка DeepSeek вынесли общую логику во вспомогательную процедуру, и предупреждение осталось одно. Sonnet, Terra, Haiku, Qwen Coder и две другие попытки DeepSeek написали отдельную функцию и честно скопировали туда проверку «файл только для чтения» из соседней. Строк с проблемным символом стало две, warning стало два вместо одного, и скрипт поставил ноль.
Второй урок — задача TRB-04. Окно падало при открытии из-за пары свойств TStringGrid: сначала нужно увеличить число строк, и только потом задавать число фиксированных. Ошибка в FormCreate показывала модальное окно Windows, нажать «ОК» было некому, и тест висел до таймаута, а не просто падал.
Что делать на практике
Не выбирайте агента по публичному рейтингу: соберите 10–20 задач из своей истории коммитов с тестами. Включайте в оценку число предупреждений компилятора, иначе пропустите ровно тот случай, который сломал здесь Sonnet. Для рутинных исправлений дешёвый DeepSeek Flash выглядит разумнее моделей за $10 за набор. Ограничение очевидное: 20 задач и один автор — это не статистика на все проекты, а ориентир.
- 21 нояб. 2026 г.Linger запускает 12 ИИ-моделей на вашем ПК: до 5 раз быстрее и $0 за токены
- 21 нояб. 2026 г.Claude Opus 5.5 назвал школу в Иране военной целью в 22 из 32 попыток, OpenAI — ни разу
- 21 нояб. 2026 г.Perplexity выделит минимум 10 000 GPU на создание автоматического исследователя
- 21 нояб. 2026 г.Банки отклоняют заявки из Китая и Гонконга на IPO Anthropic, ссылаясь на ITAR
Вопросы и ответы по материалу
Что известно по теме: как устроена проверка?
Репозитории — программа рентгеновской рефлектометрии X-Ray Calc 3, ПО для трибометра и клиент электронного журнала с сервером MCP. Все три закрытые, поэтому готовых решений в обучающих выборках моделей нет. Скрипт прошёл по истории и нашёл 1547 коммитов с исправлениями ошибок и мелкими доработками: 831 в журнале, 443 в X-Ray Calc 3 и 273 в трибометре. Из них отобрали 20 задач: 11 на логику, расчёты и потоки и 9 на формы, таблицы, графики и диалоги VCL. Примеры задач понятны любому разработчику.
Что известно по теме: кто что показал?
DeepSeek Flash и Claude Haiku 5.5 запускали по три раза на задачу, остальные модели — по одному. У всех облачных моделей был высокий уровень рассуждений. DeepSeek Flash с навыком прошёл все тесты в 60 запусках из 60, а по строгой шкале набрал 58 из 60. На задачу он тратит в среднем 337–383 секунды. Он же обошёл по точности близкую по цене Haiku 5.5: у неё $0,061 за задачу и 83–88% успешных запусков. GPT-6.1 Terra вышла за день до публикации.
Что известно по теме: как один warning обнулил почти всех?
Самая показательная история — задача XRC-06: добавить кнопку очистки результатов из файла проекта, который внутри обычный zip-архив. Sonnet 5.5 прошла все 20 задач по тестам, но получила 19 из 20 по строгой шкале. Причина — не в логике. Все 37 скрытых тестов проходили, но в проекте уже было одно предупреждение компилятора W1002 («символ зависит от платформы») в существующей функции записи архива. Sol и первая попытка DeepSeek вынесли общую логику во вспомогательную процедуру, и предупреждение осталось одно.
Протестируйте новые LLM и мультимодальные модели в одном окне
Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.
Главное из мира ИИ — раз в неделю
7 ключевых событий недели, отобранных вручную. Без шума, репостов и пресс-релизов.
Готово! Проверьте почту — мы отправили подтверждение.