Axion 1.0-35B набрал 52,2% на HLE — авторы открыли код обучения агента

Если ваш агент должен найти сведения в нескольких источниках, сопоставить их и посчитать ответ, одного подключения поиска мало. Нужно ещё научить модель пользоваться найденным. Axion 1.0 предлагает открытый рецепт такого обучения. Для разработчика это повод изучить подготовку данных и проверить подход на собственных задачах.

У проекта есть заметная цифра: версия Axion 1.0-35B получила 52,2% на Humanity’s Last Exam с инструментами. Но для команды, которая строит продукт, полезнее другой вопрос: какие части этого результата можно воспроизвести и сколько они будут стоить в её сценарии?

Что именно открыли

Согласно репозиторию проекта, у младшей модели 35 млрд параметров, из которых при вычислениях активны 3 млрд. Там опубликованы код генерации и фильтрации данных, инструкции, обучение и оценка. Однако README направляет пользователей к воспроизведению весов сообществом и прямо уточняет: это не официальный контрольный снимок Axion. Обещание «скачал авторскую модель и повторил результат» пока требует отдельной проверки.

Обучение состоит из двух этапов по готовым примерам и этапа с подкреплением. Сначала модель решает задачи с доступной в условии информацией, затем учится добывать недостающие сведения инструментами. На последнем этапе получает вознаграждение за результат и проверяемый промежуточный прогресс. Такой порядок описан в работе авторов.

Практический интерес здесь — возможность разобрать процесс по частям. Например, команде может быть полезнее способ собирать проверяемые задания, чем сама модель. Это особенно актуально, если агент уже умеет вызывать инструменты, но регулярно выбирает неверные данные для расчёта.

Как это выглядит в рабочей задаче

Представим помощника для закупок. Ему нужно выбрать поставщика с минимальной стоимостью заказа при заданном сроке доставки. Он должен найти предложения, проверить наличие, привести цены к одной валюте и добавить доставку. Красиво написанный ответ ничего не стоит, если агент сравнил разные комплектации.

Для обучения такого помощника можно заранее подготовить таблицу предложений и программно вычислить правильный выбор. Затем дать модели только вопрос и доступ к разрешённым источникам. Сохранить успешное решение — вместе с последовательностью действий. Это иллюстрация того, как идею проверяемых заданий можно перенести в продукт; авторы не сообщают о готовом закупочном агенте.

Проверять стоит не только итоговую сумму. Верно ли выбрана комплектация? Совпадают ли сроки? Учтена ли доставка? Такие промежуточные проверки помогают понять, где именно ломается цепочка. Если правильный ответ получен случайно, пример лучше не считать образцом надёжной работы.

Начать можно без собственного обучения. Соберите небольшой набор типичных запросов, зафиксируйте источники и правильные ответы, прогоните текущего агента. Уже этот шаг покажет, чего ему не хватает: поиска, расчётов или понимания условий. После этого проще решить, нужен ли новый набор данных.

Почему 52,2% недостаточно для выбора модели

В описании оценки авторы сообщают лучший результат отдельного прогона, а не среднее. Для основного HLE ограничен доступ к некоторым сайтам. Часть результатов конкурентов взята из внешних отчётов, поэтому условия сравнения не полностью совпадают. Равенство с GPT-5.5 в таблице нельзя переносить на все рабочие задачи.

Три миллиарда активных параметров также не означают, что для размещения достаточно памяти как для обычной модели такого размера. Нужно учитывать все веса, контекст и выбранный способ запуска. А стоимость успешного задания включает ещё поиск, выполнение кода и повторные попытки.

Для пилота я бы сравнивал Axion с текущим решением на одинаковых инструментах и лимитах. Считал бы долю правильных ответов, время выполнения и расходы на завершённую задачу. Отдельно проверял бы случаи с недоступным источником или противоречивыми данными. Если преимущество сохранится здесь, появится основание обсуждать внедрение. Пока главный практический результат релиза — доступный для изучения процесс обучения агента.