SageMath melhorou LLM-agentes em matemática em 9,7pp em média

Исследователи предложили методику интеграции SageMath (системы компьютерной алгебры) с LLM-агентами для решения исследовательских математических задач. Результаты показали универсальное улучшение производительности на +9.7pp в среднем, с максимальным приростом до 27.8pp для модели Qwen 3.7-Max.

Как встроили систему алгебры в LLM

SageMath — свободное программное обеспечение для математических вычислений, включающее символьную алгебру, теорию чисел и визуализацию. Исследователи встроили её в ReAct-style агента — архитектуру, которая позволяет LLM рассуждать пошагово, вызывая инструменты и анализируя результаты.

Интеграция включает:

• ReAct архитектура для пошагового логического рассуждения
• SageMath для проверки и выполнения алгебраических операций
• Context7 для доступа к актуальной документации SageMath
• RealMath бенчмарк с исследовательскими математическими задачами

Эта комбинация позволяет LLM не просто «угадывать» ответы, но проверять промежуточные результаты и гарантировать корректность вычислений.

Какие результаты показали модели

На тестировании граничных моделей система показала устойчивый прирост производительности. GPT-5.5 лидирует по абсолютной производительности: 75.2% решаемости и самое низкое потребление токенов среди всех конфигураций с инструментами.

Модель Qwen 3.7-Max получила максимальный относительный прирост: +27.8pp благодаря SageMath-интеграции. Диапазон улучшений всех протестированных моделей составил от 1.5pp до 27.8pp.

Исследователи также предложили улучшение самого RealMath бенчмарка — добавили многоступенчатую проверку и валидацию, чтобы извлечённые задачи были качественнее и надёжнее.

Ключевые цифры:

• Среднее улучшение: +9.7pp
• Диапазон прироста: 1.5pp – 27.8pp
• GPT-5.5 достигает 75.2% решаемости
• Qwen 3.7-Max получает максимальный прирост от SageMath

Зачем это нужно математикам

Математики и AI-разработчики ищут способы автоматизировать исследовательский процесс — тот самый «вычислительный цикл», когда учёный формулирует гипотезу, проверяет вычисления, анализирует результаты и переходит к следующей идее.

CAS-агенты могут существенно ускорить этот цикл: проверять сложные алгебраические выкладки за секунды, находить закономерности в числовых последовательностях, помогать в формулировании и проверке гипотез, избегать ошибок вычисления.

Авторы работы видят в этом путь к автоматизированному поиску новых математических гипотез — области, где LLM раньше часто ошибались или требовали много человеческой помощи.

Что это значит

Исследование показывает фундаментальную истину: правильный выбор инструмента может качественно изменить способность LLM к логическому мышлению. SageMath — не первая система алгебры, но это первое крупное исследование её интеграции в граничные LLM-модели на уровне производительности. Следующий шаг — расширить набор CAS-систем (Mathematica, Maple) и оптимизировать интеграцию для других типов задач в физике и инженерии.