Como 15 IAs lidam com a busca pelo melhor parser XML para iOS: resultados do benchmark

Um desenvolvedor fez um experimento incomum: colocou a mesma tarefa em 15 modelos de IA populares e comparou os resultados com seu benchmark manual de parsers XML para iOS.

Qual era a tarefa

Há seis meses, o autor publicou os resultados da própria busca pelo parser XML mais rápido para iOS, tvOS e macOS. Foi um trabalho minucioso: várias horas analisando repositórios do GitHub manualmente, verificando a popularidade (no mínimo 500 estrelas), o suporte a Objective-C e Swift e a integração via CocoaPods ou SwiftPM. Três horas de trabalho árduo (e várias xícaras de café) resultaram em um ranking completo dos parsers ideais.

A IA consegue fazer mais rápido?

Depois veio o pensamento natural: por que gastar 3 horas se na internet prometem que a IA resolve em 5 minutos? Além disso, havia uma chance real de que um erro tivesse passado no benchmark manual, como uma interpretação errada do código ou um detalhe perdido nas especificações. E, se fosse o caso, as IAs, com seus enormes volumes de conhecimento, poderiam encontrar um resultado mais correto.

A decisão foi natural: colocar a mesma tarefa em 15 modelos de IA diferentes (OpenAI, Anthropic, Google, Meta*, Xai, Perplexity e outros), reunir os resultados e compará-los com honestidade entre si e com o benchmark original. Um experimento justo.

Os resultados decepcionaram

Os resultados ficaram longe do esperado. Ao contrário de tudo o que se previa, o GPT 5.5 Pro não só não se saiu melhor que os demais como ficou em último lugar. Foi um choque logo de cara: o carro-chefe da OpenAI perdeu em todas as categorias de análise, na identificação de repositórios populares e na avaliação do desempenho dos parsers.

O Claude Opus 4.7, conhecido pela análise profunda e pela capacidade de manter contexto, também não conseguiu o primeiro lugar, embora seus resultados tenham ficado acima da média. Em vez disso, modelos mais especializados e compactos ficaram inesperadamente à frente, orientando-se melhor nos detalhes práticos da tarefa.

O autor admite com honestidade que seu benchmark manual pode, sim, ter tido um erro e que, nesse caso, ele não escolheu o parser totalmente ideal. Mas, mesmo assim, o resultado mostra um padrão interessante: o tamanho e a qualidade autodeclarada de um modelo de IA nem sempre garantem sucesso em uma tarefa prática específica.

O que isso significa

O experimento lembra os desenvolvedores de que as IAs são ferramentas com pontos fortes e fracos próprios. Para tarefas técnicas específicas, vale verificar não só a popularidade do modelo, mas também seu desempenho real no seu caso concreto. E sim, às vezes aquilo que promete resolver em 5 minutos pode exigir sua atenção e validação.

*A Meta é considerada organização extremista e está proibida na Rússia.