SageMath melhora em 9,7 pp, em média, o desempenho de agentes LLM em matemática

Pesquisadores propuseram um método para integrar o SageMath, um sistema de álgebra computacional, a agentes LLM para resolver problemas matemáticos de nível de pesquisa. Os resultados mostram melhora geral de desempenho de +9,7 pp em média, com ganho máximo de 27,8 pp para o modelo Qwen 3.7-Max.

Como o sistema de álgebra foi integrado ao LLM

O SageMath é um software livre para cálculo matemático que inclui álgebra simbólica, teoria dos números e visualização. Os pesquisadores o incorporaram a um agente no estilo ReAct, arquitetura que permite ao LLM raciocinar passo a passo, chamando ferramentas e analisando os resultados.

A integração inclui:

• Arquitetura ReAct para raciocínio lógico passo a passo
• SageMath para verificar e executar operações algébricas
• Context7 para acessar a documentação atualizada do SageMath
• O benchmark RealMath, com problemas matemáticos de pesquisa

Essa combinação permite que o LLM não apenas «chute» respostas, mas verifique resultados intermediários e garanta a correção dos cálculos.

Quais resultados os modelos mostraram

Nos testes com modelos de fronteira, o sistema apresentou ganho consistente de desempenho. O GPT-5.5 lidera em desempenho absoluto: 75,2% de problemas resolvidos e o menor consumo de tokens entre todas as configurações com ferramentas.

O Qwen 3.7-Max teve o maior ganho relativo: +27,8 pp graças à integração com o SageMath. As melhoras em todos os modelos testados variaram de 1,5 pp a 27,8 pp.

Os pesquisadores também propuseram uma melhoria no próprio benchmark RealMath: adicionaram verificação e validação em várias etapas, para que os problemas extraídos tenham mais qualidade e confiabilidade.

Números principais:

• Melhora média: +9,7 pp
• Faixa de ganho: 1,5 pp – 27,8 pp
• O GPT-5.5 alcança 75,2% de problemas resolvidos
• O Qwen 3.7-Max tem o maior ganho com o SageMath

Por que isso importa para os matemáticos

Matemáticos e desenvolvedores de IA buscam formas de automatizar o processo de pesquisa, aquele «ciclo computacional» em que o cientista formula uma hipótese, verifica os cálculos, analisa os resultados e passa para a ideia seguinte.

Agentes CAS podem acelerar bastante esse ciclo: verificar em segundos desenvolvimentos algébricos complexos, encontrar padrões em sequências numéricas, ajudar a formular e testar hipóteses e evitar erros de cálculo.

Os autores veem nisso um caminho para a busca automatizada de novas conjecturas matemáticas, área em que os LLMs antes erravam com frequência ou exigiam muita ajuda humana.

O que isso significa

O estudo aponta uma verdade fundamental: escolher a ferramenta certa pode mudar qualitativamente a capacidade de raciocínio lógico de um LLM. O SageMath não é o primeiro sistema de álgebra, mas este é o primeiro grande estudo sobre sua integração a LLMs de fronteira no nível de desempenho. O próximo passo é ampliar o conjunto de sistemas CAS (Mathematica, Maple) e otimizar a integração para outros tipos de problemas em física e engenharia.