Интенсив 21–22.11 · БесплатноБесплатный 2-дневный интенсив по вайбкодингу 21–22 ноября в 16:00 МСК (Сб–Вс) · Живой Поток 3 стартует 23.11Записаться бесплатно →Поток 3 (23.11)

DeepSeek Flash решает задачи на Delphi в 12 раз дешевле Sonnet 5.5 и GPT-6.1 Sol

Публичные рейтинги не помогают выбрать агента для Delphi, поэтому автор лабораторного софта прогнал семь моделей на 20 задачах из своих закрытых репозиториев. DeepSeek V4.1 Flash обошёлся в 12 раз дешевле Sonnet 5.5 и GPT-6.1 Sol: у них набор стоит около $10, по $0,46–$0,55 за задачу. Но у Sonnet 5.5 одна задача обнулилась из-за лишнего предупреждения компилятора. Поэтому оценивайте агента на своём коде и считайте warning'и.

AI-обработка оригинала Хабр: Машинное обучение; редакция Hamidun News
DeepSeek Flash решает задачи на Delphi в 12 раз дешевле Sonnet 5.5 и GPT-6.1 Sol
Источник: Хабр: Машинное обучение. Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникХабр: Машинное обучение ↗
Главный редактор
Terra$3,52–$3,56 за 20 задач, втрое дешевле Sol и Sonnet
Ключевой факт #2Sol тратила 7–11 минут на задачу, дважды упёрлась в лимит 45 минут
Ключевой факт #3В XRC-06 все 37 тестов прошли, но warning стало 2 вместо 1

Если вы пишете на Delphi, публичные рейтинги кодинг-моделей вам почти не помогут: они проверяют совсем другие задачи, а лидеры таблиц регулярно ломают формы VCL. Автор, который много лет делает на Delphi научный и лабораторный софт, решил проверить агентов на своём коде. Он взял 20 реальных задач из трёх закрытых репозиториев и прогнал на них семь облачных и локальных моделей. Главный итог по деньгам: DeepSeek V4.1 Flash проходит весь набор примерно в 12 раз дешевле, чем Sonnet 5.5 и GPT-6.1 Sol. У двух последних весь набор из 20 задач стоит около $10, то есть $0,46–$0,55 за одну задачу. Главный итог по качеству неожиданнее: даже сильная модель может получить ноль за задачу, у которой все тесты зелёные.

Как устроена проверка

Репозитории — программа рентгеновской рефлектометрии X-Ray Calc 3, ПО для трибометра и клиент электронного журнала с сервером MCP. Все три закрытые, поэтому готовых решений в обучающих выборках моделей нет. Скрипт прошёл по истории и нашёл 1547 коммитов с исправлениями ошибок и мелкими доработками: 831 в журнале, 443 в X-Ray Calc 3 и 273 в трибометре. Из них отобрали 20 задач: 11 на логику, расчёты и потоки и 9 на формы, таблицы, графики и диалоги VCL.

Примеры задач понятны любому разработчику. Числа в JSON округлялись функцией, которая не справлялась с очень малыми значениями, и подгонка профиля плёнки падала с ошибкой. Поле границы оси на графике пересчитывалось при каждом нажатии клавиши, поэтому на промежуточном вводе «1» или «1e» при наборе 1e-8 программа реагировала на недописанное число. Инструмент работы с базой падал на вложенных транзакциях FireDAC. А в меню справки нужно было добавить проверку обновлений на GitHub с проверкой контрольной суммы SHA-256.

Каждую задачу проверили компилятором RAD Studio 37.0: до исправления проект собирается, а новые тесты DUnitX падают; после авторского исправления собирается всё и тесты проходят. Консольный агент получал чистую копию репозитория, описание и команду сборки. Файлы с подсказками для агентов удалили, языковой сервер отключили, лимит поставили 45 минут. Режимов два: без инструкций и с навыком delphi-development, где описаны структура проектов и четыре правила. Среди них: визуальные компоненты только в .dfm, пара TImageCollection и TVirtualImageList вместо TImageList, освобождение локальных объектов через try..finally. Задача не засчитывается, если число предупреждений компилятора выросло выше исходного уровня.

Кто что показал

DeepSeek Flash и Claude Haiku 5.5 запускали по три раза на задачу, остальные модели — по одному. У всех облачных моделей был высокий уровень рассуждений. DeepSeek Flash с навыком прошёл все тесты в 60 запусках из 60, а по строгой шкале набрал 58 из 60. На задачу он тратит в среднем 337–383 секунды. Он же обошёл по точности близкую по цене Haiku 5.5: у неё $0,061 за задачу и 83–88% успешных запусков.

GPT-6.1 Terra вышла за день до публикации. По тарифам OpenAI она стоит $1, $5 и $0,05 за миллион входных, выходных и кэшированных токенов, вдвое дешевле Sol. Набор обошёлся ей в $3,52–$3,56, втрое дешевле Sol и Sonnet. По тестам у Terra 19 из 20 (95%). Задачу с автообновлением XRC-09, на которой Sol провалилась в обоих режимах, Terra сдала с первой попытки. Sol обычно сидит над задачей по 7–11 минут, а на двух задачах журнала без навыка выбрала весь 45-минутный лимит.

Вне таблицы остались Gemini 4 Argon (остановили после 24 запусков из-за скорости), GLM 5.3 Flash (на OpenRouter кончился баланс после четвёртой задачи) и Claude Opus 5.5 (две пробные задачи: Sonnet и так справилась).

Как один warning обнулил почти всех

Самая показательная история — задача XRC-06: добавить кнопку очистки результатов из файла проекта, который внутри обычный zip-архив. Sonnet 5.5 прошла все 20 задач по тестам, но получила 19 из 20 по строгой шкале. Причина — не в логике. Все 37 скрытых тестов проходили, но в проекте уже было одно предупреждение компилятора W1002 («символ зависит от платформы») в существующей функции записи архива. Sol и первая попытка DeepSeek вынесли общую логику во вспомогательную процедуру, и предупреждение осталось одно. Sonnet, Terra, Haiku, Qwen Coder и две другие попытки DeepSeek написали отдельную функцию и честно скопировали туда проверку «файл только для чтения» из соседней. Строк с проблемным символом стало две, warning стало два вместо одного, и скрипт поставил ноль.

Второй урок — задача TRB-04. Окно падало при открытии из-за пары свойств TStringGrid: сначала нужно увеличить число строк, и только потом задавать число фиксированных. Ошибка в FormCreate показывала модальное окно Windows, нажать «ОК» было некому, и тест висел до таймаута, а не просто падал.

Что делать на практике

Не выбирайте агента по публичному рейтингу: соберите 10–20 задач из своей истории коммитов с тестами. Включайте в оценку число предупреждений компилятора, иначе пропустите ровно тот случай, который сломал здесь Sonnet. Для рутинных исправлений дешёвый DeepSeek Flash выглядит разумнее моделей за $10 за набор. Ограничение очевидное: 20 задач и один автор — это не статистика на все проекты, а ориентир.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: как устроена проверка?

Репозитории — программа рентгеновской рефлектометрии X-Ray Calc 3, ПО для трибометра и клиент электронного журнала с сервером MCP. Все три закрытые, поэтому готовых решений в обучающих выборках моделей нет. Скрипт прошёл по истории и нашёл 1547 коммитов с исправлениями ошибок и мелкими доработками: 831 в журнале, 443 в X-Ray Calc 3 и 273 в трибометре. Из них отобрали 20 задач: 11 на логику, расчёты и потоки и 9 на формы, таблицы, графики и диалоги VCL. Примеры задач понятны любому разработчику.

Что известно по теме: кто что показал?

DeepSeek Flash и Claude Haiku 5.5 запускали по три раза на задачу, остальные модели — по одному. У всех облачных моделей был высокий уровень рассуждений. DeepSeek Flash с навыком прошёл все тесты в 60 запусках из 60, а по строгой шкале набрал 58 из 60. На задачу он тратит в среднем 337–383 секунды. Он же обошёл по точности близкую по цене Haiku 5.5: у неё $0,061 за задачу и 83–88% успешных запусков. GPT-6.1 Terra вышла за день до публикации.

Что известно по теме: как один warning обнулил почти всех?

Самая показательная история — задача XRC-06: добавить кнопку очистки результатов из файла проекта, который внутри обычный zip-архив. Sonnet 5.5 прошла все 20 задач по тестам, но получила 19 из 20 по строгой шкале. Причина — не в логике. Все 37 скрытых тестов проходили, но в проекте уже было одно предупреждение компилятора W1002 («символ зависит от платформы») в существующей функции записи архива. Sol и первая попытка DeepSeek вынесли общую логику во вспомогательную процедуру, и предупреждение осталось одно.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…