Kimi marca 96,2% em teste de análise de dados na base 1C e vira plano B caso o Claude seja bloqueado

O programador de 1C Aleksandr Novikov ficou sem o Claude: a conta foi bloqueada no meio do período pago, e o saldo restante não foi devolvido. Temendo que o mesmo aconteça com o GPT, ele decidiu procurar com antecedência uma alternativa entre os modelos chineses e começou pela Kimi. O motivo é simples: a assinatura pode ser paga em rublos com cartão Mir, e não é preciso usar VPN. Novikov fez o teste na mesma base demo e com as mesmas regras que havia usado antes com ChatGPT, Claude e «Алиса AI для бизнеса». O resultado da Kimi foi 96,2% de concordância com o gabarito.

Como funciona o teste e como foi o pagamento

A assinatura Kimi no plano Pro custou 3300 rublos. O autor faz um alerta: na internet russa há muitos links de intermediários, então vale conferir se o pagamento é feito no site oficial. O pagamento foi processado normalmente.

O ambiente é simples: aplicativo desktop da Kimi para Windows, com interface em inglês. A autenticação é feita pelo site, e depois o aplicativo se vincula à conta. A conexão por COM não funcionou, porque a base estava em outro computador. Por isso, Novikov usou o gateway 1C «Жёлтый мост».

A base é a demo «Управление торговлей 11», edição 11.5.25.112, com um gabarito preparado previamente. As dez perguntas abrangem cadastros, documentos, saldos, acertos entre as partes e tarefas com várias condições.

Resultados por pergunta

A Kimi acertou nove das dez perguntas por completo. Ela contou corretamente os armazéns e os itens de nomenclatura sem grupos, listou as cinco organizações e trouxe as cinco últimas vendas lançadas, com números, datas e valores correspondentes. Também encontrou corretamente os pedidos de clientes de agosto de 2022, o saldo de LED Camelion 1,5 no armazém indicado e as dívidas de «Ассоль» e «Альтаир». Os valores de janeiro e fevereiro de 2023 foram separados pelo modelo entre RUB e USD. Na tarefa sobre saldos a partir de 1000 sem vendas em 2023–2024, ela encontrou as seis posições, sem incluir nenhuma a mais.

O ponto fraco foi a pergunta sobre os três produtos mais vendidos em fevereiro de 2023. Os produtos foram identificados corretamente, mas dois valores estavam errados, o que rendeu 50%. O autor atribui o erro à separação das moedas. Depois de um prompt mais detalhado, os números bateram com o gabarito. A conclusão é que, em condições complexas, é melhor já formular de início uma solicitação detalhada.

Quanto à velocidade, o modelo fez 24 chamadas à base, e as consultas levaram cerca de 45 segundos. Esse não é o tempo total da conversa: a preparação da consulta não está incluída.

Escrita no 1C e desenvolvimento

A Kimi oferece suporte a servidores MCP remotos via HTTP. Se uma ferramenta de escrita estiver conectada e liberada, o modelo pode não só ler, mas também alterar dados. Segundo o autor, essa é uma vantagem sobre a «Алиса AI для бизнеса», que por enquanto só consegue ler. Em bases de produção, isso é uma faca de dois gumes: vale liberar a escrita de forma consciente e apenas em ambiente de teste.

Na parte de desenvolvimento, Novikov pediu que o próprio modelo pegasse uma extensão do 1C, a aprimorasse e a salvasse. A modificação tinha complexidade média, e a Kimi deu conta. Mas o autor deixa para depois a conclusão sobre se o modelo serve como ferramenta diária de desenvolvimento: o foco principal do teste foi a análise de dados.

Limitações e conclusão prática

O teste é restrito: uma base demo, dez perguntas e um único autor. Não é um benchmark nem substitui uma avaliação independente, e sim um recorte prático das tarefas de um analista de 1C. Para desenvolvimento, ainda há poucos dados, e o resultado depende da qualidade do prompt.

Na prática, a conclusão é esta: a Kimi parece um seguro viável para o caso de o acesso aos modelos ocidentais ser encerrado. Para análise de dados em uma configuração padrão do 1C, ela já serve hoje e, para escrever código, o autor a considera plenamente capaz. Para equipes russas, esse resultado importa também pela infraestrutura: pagamento em rublos, conexão via gateway e suporte a MCP permitem incorporar o modelo ao processo sem soluções improvisadas.