Kimi marca 96,2% em teste de análise em base 1C e vira reserva caso o Claude seja bloqueado

O programador de 1C Aleksandr Novikov ficou sem o Claude: a conta foi bloqueada no meio do período pago, e o saldo restante não foi devolvido. Receando que o mesmo aconteça com o GPT, ele decidiu procurar antes um substituto entre os modelos chineses e começou pela Kimi. O motivo é simples: a assinatura pode ser paga em rublos com cartão Mir, e não é preciso VPN. Ele fez o teste na mesma base demo e com as mesmas regras que usou antes com ChatGPT, Claude e a «Alisa AI para negócios». O resultado da Kimi: 96,2% de coincidência com o gabarito.

Como é o teste e como ficou o pagamento

A assinatura Kimi do plano Pro custou 3300 rublos. O autor faz um alerta à parte: na internet russa há muitos links de intermediários, então vale conferir se o pagamento é feito no site oficial. O pagamento transcorreu normalmente.

O ambiente é simples: o aplicativo de desktop da Kimi para Windows, com interface em inglês. A autorização é feita pelo site, e depois o aplicativo se vincula à conta. A conexão via COM não serviu, porque a base estava em outro computador. Por isso, Novikov usou o gateway do 1C «Zhyoltyi most».

A base é a demo «Gestão Comercial 11», edição 11.5.25.112, com um gabarito preparado previamente. As dez perguntas cobrem cadastros, documentos, saldos, acertos entre partes e tarefas com várias condições.

Resultados por pergunta

A Kimi respondeu integralmente nove das dez perguntas. Contou corretamente os armazéns e a nomenclatura sem grupos, listou as cinco organizações e trouxe as cinco últimas vendas lançadas, com números, datas e valores coincidentes. Também acertou os pedidos de clientes de agosto de 2022, o saldo de LED Camelion 1,5 no armazém indicado e as dívidas de «Assol» e «Altair». Os valores de janeiro e fevereiro de 2023 foram separados por RUB e USD. Na tarefa de saldos a partir de 1000 sem vendas em 2023–2024, encontrou as seis posições, sem nenhuma a mais.

O ponto fraco foi a pergunta sobre o top 3 de produtos por vendas em fevereiro de 2023. Os produtos estavam corretos, mas dois valores não, daí os 50%. O autor atribui o erro à separação de moedas. Com um prompt mais detalhado, os números bateram com o gabarito. Conclusão: em condições complexas, é melhor já fazer uma consulta detalhada desde o início.

Quanto à velocidade, o modelo fez 24 consultas à base, e elas levaram cerca de 45 segundos. Esse não é o tempo total do diálogo: a preparação da consulta não está incluída.

Escrita no 1C e desenvolvimento

A Kimi aceita servidores MCP remotos via HTTP. Se uma ferramenta de escrita estiver conectada e liberada, o modelo pode não só ler, mas também alterar dados. Segundo o autor, essa é uma vantagem sobre a «Alisa AI para negócios», que por enquanto só consegue ler. Em bases de produção, é uma faca de dois gumes: convém liberar a escrita de forma consciente e somente em ambiente de teste.

No desenvolvimento, Novikov pediu que o modelo pegasse por conta própria uma extensão do 1C, a aprimorasse e a salvasse. A alteração tinha complexidade média, e a Kimi se saiu bem. Mas o autor promete deixar para depois a conclusão sobre se o modelo serve como ferramenta diária de desenvolvimento: o foco principal do teste foi a análise.

Limitações e conclusão prática

O teste é restrito: uma base demo, dez perguntas e um único autor. Não é um benchmark nem substitui uma avaliação independente, e sim um recorte prático de tarefas de um analista de 1C. Para desenvolvimento, ainda há poucos dados, e o resultado depende da qualidade do prompt.

Na prática, a conclusão é esta: a Kimi parece um seguro viável para o caso de fechamento do acesso a modelos ocidentais. Para análise em uma configuração padrão do 1C, ela já serve hoje e, para escrever código, o autor a considera plenamente capaz. Para equipes russas, esse resultado importa também pela infraestrutura: o pagamento em rublos, a conexão por gateway e o suporte a MCP permitem integrar o modelo ao processo sem gambiarras.