SageMath melhorou LLM-agentes em matemática em 9,7pp em média

Os pesquisadores propuseram uma metodologia para integrar SageMath (um sistema de álgebra computacional) com agentes LLM para resolver problemas de matemática de pesquisa. Os resultados mostraram uma melhoria universal de desempenho de +9.7pp em média, com ganhos máximos de até 27.8pp para o modelo Qwen 3.7-Max.

Como o Sistema de Álgebra Foi Incorporado no LLM

SageMath — software gratuito para computação matemática, incluindo álgebra simbólica, teoria dos números e visualização. Os pesquisadores o incorporaram em um agente de estilo ReAct — uma arquitetura que permite ao LLM raciocinar passo a passo, chamando ferramentas e analisando resultados.

A integração inclui:

• Arquitetura ReAct para raciocínio lógico passo a passo
• SageMath para verificar e executar operações algébricas
• Context7 para acesso à documentação atual do SageMath
• Benchmark RealMath com problemas de matemática de pesquisa

Esta combinação permite ao LLM não apenas "adivinhar" respostas, mas verificar resultados intermediários e garantir a correção dos cálculos.

Que Resultados os Modelos Mostraram

Ao testar modelos de fronteira, o sistema mostrou ganhos de desempenho constantes. GPT-5.5 lidera em desempenho absoluto: 75.2% de solubilidade e menor consumo de tokens entre todas as configurações equipadas com ferramentas.

O modelo Qwen 3.7-Max recebeu o ganho relativo máximo: +27.8pp graças à integração com SageMath. O intervalo de melhorias em todos os modelos testados variou de 1.5pp a 27.8pp.

Os pesquisadores também propuseram uma melhoria no próprio benchmark RealMath — adicionaram verificação multi-etapa e validação para garantir que os problemas extraídos fossem de qualidade mais alta e mais confiáveis.

Números-chave:

• Melhoria média: +9.7pp
• Intervalo de ganhos: 1.5pp – 27.8pp
• GPT-5.5 alcança 75.2% de solubilidade
• Qwen 3.7-Max recebe ganho máximo do SageMath

Por Que os Matemáticos Precisam Disso

Matemáticos e pesquisadores de IA estão buscando formas de automatizar o processo de pesquisa — aquele "ciclo computacional" onde um cientista formula uma hipótese, verifica cálculos, analisa resultados e passa para a próxima ideia.

Agentes CAS podem acelerar substancialmente este ciclo: verificar derivações algébricas complexas em segundos, encontrar padrões em sequências numéricas, ajudar a formular e testar hipóteses, evitar erros computacionais.

Os autores veem nisto um caminho para a descoberta automatizada de novas hipóteses matemáticas — uma área onde LLMs frequentemente erravam anteriormente ou requeriam muita ajuda humana.

O Que Isso Significa

A pesquisa demonstra uma verdade fundamental: a escolha correta da ferramenta pode mudar qualitativamente a capacidade de um LLM de raciocínio lógico. SageMath — não o primeiro sistema de álgebra, mas este é o primeiro grande estudo de sua integração em modelos LLM de fronteira em escala de desempenho. O próximo passo — expandir o conjunto de sistemas CAS (Mathematica, Maple) e otimizar a integração para outros tipos de problemas em física e engenharia.