Эфир 18.11 · Поток 318 ноября в 19:00 МСК — бесплатный практический эфир по ИИ-агентам · Живой Поток 3 стартует 23.11Эфир 18 ноября →Поток 3 (23.11)
Безопасность и правоAPI / Продукт · В работуTG: @cgevent (Метаверсище и ИИще)→ оригинал

1000 ИИ-агентов написали чат-бота без нейросети: доля побед выросла с 0% до 26%

Hugging Face показала PyBot — чат-бота, в котором нет нейросети: только if-else, регулярки и таблицы поиска. Код за 5000+ версий написал рой из 1000+ ИИ-агентов, получилось 640 тысяч строк на Python. В тесте SmolTalkBench, где ответы сравнивает LLM-судья, доля побед бота выросла с 0% до 26% — на уровне малой модели SmolLM-360M-Instruct. Практический вывод: для узких задач без GPU такой подход стоит пробовать.

AI-обработка оригинала TG: @cgevent (Метаверсище и ИИще); редакция Hamidun News
1000 ИИ-агентов написали чат-бота без нейросети: доля побед выросла с 0% до 26%
Источник: TG: @cgevent (Метаверсище и ИИще). Коллаж: Hamidun News.
Слушать статью
Паспорт материала и цифры
ПараметрДанные
ПервоисточникTG: @cgevent (Метаверсище и ИИще) ↗
Главный редактор
Ключевой факт #1550 тысяч строк тестов агенты написали сами
Запускpython -m pybot, Python 3.8+, без GPU и библиотек
Ключевой факт #326% побед насчитал LLM-судья, а не живые люди

Обычно бот без нейросети — это «шкаф с заготовками»: спросил «где мой заказ?», сработало правило, спросил чуть иначе — получил «не понимаю». Hugging Face проверила, как далеко можно зайти по этому пути, если правила пишет не человек, а рой из более чем 1000 ИИ-агентов. Получился PyBot: чат-бот на 640 тысяч строк Python, в котором нет ни одного нейросетевого веса. В тесте SmolTalkBench ответы бота и других систем сравнивает языковая модель в роли судьи, и бот выигрывает примерно в 26% сравнений — столько же, сколько малая нейросеть SmolLM-360M-Instruct (360 миллионов параметров). Читать это стоит не ради замены LLM, а ради урока: длинный цикл «написать — проверить — улучшить» с автоматической оценкой даёт неожиданно сильный результат даже на обычном коде.

Что именно сделали

PyBot — диалоговый бот без весов, матричных умножений и трансформеров. Внутри только ветвления if-else, регулярные выражения и таблицы поиска. Бота не обучали: ни датасета, ни градиентного спуска. Весь код писал и переписывал рой агентов.

Масштаб заметный. По данным авторов, агенты сгенерировали и оценили свыше 5000 версий бота. В итоге выросла кодовая база на 640 тысяч строк рабочего кода плюс 550 тысяч строк тестов, которые агенты тоже написали сами. Это размер крупного коммерческого продукта, а не учебного скрипта.

Запуск простой: нужен Python 3.8+, GPU и внешние библиотеки не требуются, достаточно команды python -m pybot. Есть демо на Hugging Face Spaces, так что попробовать можно без установки.

Что значит «26% побед»

В SmolTalkBench судья-LLM сравнивает ответы, и «доля побед» — это процент сравнений, где предпочли ответ PyBot. В начале эволюции этот показатель был 0%, к концу вырос до 26%. По формулировке авторов, это вывело детерминированного бота на уровень SmolLM-360M-Instruct.

Читать цифру нужно аккуратно. 26% — это не «бот лучше модели», а «бот выигрывает примерно в четверти случаев». Паритет относится именно к этому бенчмарку и именно к оценке другой языковой моделью, а судья-LLM может предпочитать определённый стиль ответов. Как бот справится с неожиданными вопросами живых пользователей, по имеющимся данным сказать нельзя. Кроме того, мы опираемся на пересказ проекта и ссылки на репозиторий, демо и бенчмарк; детали устройства роя и отбора версий лучше смотреть в репозитории huggingface/pybot.

Что с этим делать на практике

Первое: измеримая обратная связь решает всё. 5000 итераций и полмиллиона строк тестов — это не «попросил функцию в чате», а непрерывная инженерная петля. Если вы строите агентов для кода, начинайте с бенчмарка и тестов: без них рой превратился бы в генератор мусора.

Второе: у детерминированного решения есть реальные плюсы — мгновенный запуск на CPU, предсказуемое поведение, нулевые зависимости и возможность прочитать и отладить каждое правило. Для узких сценариев вроде внутреннего помощника, поддержки с ограниченным набором тем или встроенных устройств это может быть разумной альтернативой даже малой модели.

Третье: ограничения очевидны. 640 тысяч строк правил — монолит, который люди вряд ли захотят править вручную; расширять его, скорее всего, придётся тем же роем. А способность нейросетей понимать незнакомые формулировки правилами дёшево не воспроизвести.

Итог: PyBot не отменяет LLM, а шутка про Nvidia остаётся шуткой. Но проект показывает, что граница между «нужна модель» и «хватит кода» сдвигается, когда код пишут сотни агентов с автоматической проверкой. Если у вашей задачи есть чёткая метрика качества, стоит прикинуть, не решит ли её рой агентов с обычным Python.

Сюжет

Вопросы и ответы по материалу

Что известно по теме: что именно сделали?

PyBot — диалоговый бот без весов, матричных умножений и трансформеров. Внутри только ветвления if-else, регулярные выражения и таблицы поиска. Бота не обучали: ни датасета, ни градиентного спуска. Весь код писал и переписывал рой агентов. Масштаб заметный. По данным авторов, агенты сгенерировали и оценили свыше 5000 версий бота. В итоге выросла кодовая база на 640 тысяч строк рабочего кода плюс 550 тысяч строк тестов, которые агенты тоже написали сами.

Что известно по теме: что значит «26% побед»?

В SmolTalkBench судья-LLM сравнивает ответы, и «доля побед» — это процент сравнений, где предпочли ответ PyBot. В начале эволюции этот показатель был 0%, к концу вырос до 26%. По формулировке авторов, это вывело детерминированного бота на уровень SmolLM-360M-Instruct. Читать цифру нужно аккуратно. 26% — это не «бот лучше модели», а «бот выигрывает примерно в четверти случаев».

Что известно по теме: что с этим делать на практике?

Первое: измеримая обратная связь решает всё. 5000 итераций и полмиллиона строк тестов — это не «попросил функцию в чате», а непрерывная инженерная петля. Если вы строите агентов для кода, начинайте с бенчмарка и тестов: без них рой превратился бы в генератор мусора. Второе: у детерминированного решения есть реальные плюсы — мгновенный запуск на CPU, предсказуемое поведение, нулевые зависимости и возможность прочитать и отладить каждое правило.

ЖХ
Жемал Хамидун — CPO Alpina Digital, продакт-менеджер AlpinaGPT. Делает AI-продукты с 2019 года. Hamidun News — pet project, который вырос в production-агрегатор с 6000+ читателей.
✦ Единое AI-пространство · Nomad

Протестируйте новые LLM и мультимодальные модели в одном окне

Платформа Nomad AI (nomadnet.ai) даёт прямой доступ к Claude Opus 5.5, GPT-6, Gemini 3.1, DeepSeek и автономным агентам без VPN, зарубежных карт и зоопарка подписок.

Открыть Nomad AI →Автономный Nomad Agent
Что вы думаете?
Загружаем комментарии…