Taxbit lanca assistente de IA para profissionais tributarios: 55% dos usuarios voltam com outra pergunta

Se voce ja criou um chatbot de suporte, sabe como isso normalmente funciona. O bot responde com confianca, cita uma fonte pouco clara e depois envia o usuario para uma pagina que ele nao tem permissao para acessar. Na area tributaria, esse tipo de erro sai caro: as pessoas tomam decisoes sobre a entrega de declaracoes. A equipe da Taxbit, uma plataforma de conformidade tributaria para corretoras de criptoativos e brokers, explicou como criou o Assist, um assistente no qual se pode confiar em um ambiente regulado.

Os requisitos que definiram a arquitetura

O assistente tem quatro restricoes rigidas. Toda resposta deve citar uma fonte que o usuario possa abrir e, se nao houver uma resposta, o bot deve informar isso. O bot considera a funcao e a organizacao do usuario: um profissional de suporte nao pode ser direcionado para um fluxo administrativo. Ele nao oferece aconselhamento tributario: pode explicar como a Taxbit calcula a base de custo, mas nao pode recomendar qual metodo escolher. Por fim, os dados devem permanecer em sua propria regiao.

O agente funciona com o Strands Agents SDK dentro do AgentCore Runtime. Trata-se de um pequeno aplicativo em Python: um prompt de sistema, um modelo e oito ferramentas de escopo restrito. Entre elas estao a busca na base de conhecimento, duas verificacoes de acesso e quatro ferramentas para trabalhar com tickets de suporte. O agente nao tem nenhum acesso aos dados tributarios dos clientes.

A principal decisao de seguranca e que o modelo nao lida com a identidade. O email, o ID da organizacao e a funcao chegam de um servico confiavel e sao incorporados as ferramentas por meio de um closure. O modelo pode decidir se deve verificar as permissoes, mas nao pode escolher as permissoes de quem serao verificadas. A entrada do usuario e sanitizada, portanto uma injecao de prompt nao consegue falsificar o contexto confiavel.

De onde vieram, de fato, os maiores ganhos de qualidade

A equipe concentrou a maior parte dos esforcos na base de conhecimento: Amazon Bedrock Knowledge Bases sobre S3 Vectors, com embeddings do Cohere Embed English v3. Sao tres fontes: o site publico de documentacao e a central de ajuda, a documentacao gerada a partir do codigo-fonte do produto e artigos escritos manualmente.

O primeiro ganho inesperado veio da limpeza do corpus. O sitemap tinha cerca de 400 URLs, mas apenas aproximadamente 70 eram adequadas para responder a perguntas. Mais de 300 paginas em /blogs/ eram conteudo de marketing e competiam com a central de ajuda pelo papel de fonte nas respostas sobre conformidade. Excluir o blog levou alguns minutos e nao exigiu nenhum trabalho no modelo.

O segundo e mais poderoso ganho veio da fragmentacao contextual. Um trecho retirado do meio de um documento perde as informacoes sobre o assunto ao qual pertence. E perigoso retornar um paragrafo sobre regras de regimes de declaracao nao americanos em resposta a uma pergunta sobre o formulario 1099 do IRS.

Por isso, uma funcao Lambda na etapa POST_CHUNKING adiciona a cada fragmento o titulo H1 do documento e um paragrafo introdutorio de cerca de 128 tokens. O corpo do fragmento foi limitado a 384 tokens para que tudo coubesse na janela de 512 tokens do modelo de embeddings. Uma verificacao em producao mostrou que cerca de 28% dos fragmentos ficavam na faixa de 385 a 512 tokens, o que significa que suas partes finais teriam sido truncadas silenciosamente.

A busca e organizada como um funil: 75 candidatos do indice vetorial, reranking com o Cohere Rerank 3.5 na mesma chamada Retrieve, os 12 melhores resultados, no maximo dois fragmentos por documento e os cinco melhores enviados ao modelo. O conjunto inicial amplo e necessario porque os artigos certos costumam ficar entre as posicoes 20 e 50 nos resultados da busca vetorial e so sobem depois do reranking. Apenas fontes publicas podem ser citadas, e essa regra e aplicada no codigo, nao no prompt.

Seguranca e controle de qualidade

O Bedrock Guardrails verifica cada mensagem recebida por meio de uma chamada separada a ApplyGuardrail, considerando apenas a interacao atual. Senhas, codigos CVV e chaves de servicos em nuvem sao bloqueados. SSNs, ITINs, dados bancarios e IBANs sao mascarados no proprio local, permitindo que o agente ajude com o processo sem ver os valores. Para o historico da conversa, e essencial que o ID do ator venha do servico que realiza a chamada: o runtime opera sob uma unica funcao de servico e, caso contrario, o historico de todos os usuarios acabaria na mesma particao.

A qualidade e medida no trafego real, sem bloquear as respostas. As avaliacoes online do AgentCore selecionam uma amostra de 10% das sessoes e as analisam com seis juizes LLM integrados: utilidade, nocividade, coerencia, cumprimento de instrucoes, selecao de ferramentas e precisao dos parametros dessas ferramentas. Alem disso, juizes proprios avaliam separadamente a fidelidade as fontes e a relevancia do material recuperado. A separacao e intencional: uma resposta pode ser fiel a fontes que jamais deveriam ter sido recuperadas e, nesse caso, a falha nao e do modelo, mas da busca. Um classificador separado monitora se a resposta esta derivando para aconselhamento tributario.

O que aprender com isso

Primeiro: limpe o corpus antes de ajustar o modelo. Paginas de marketing no indice prejudicam as respostas mais do que qualquer prompt consegue corrigir. Segundo: se um fragmento nao sabe a que pertence, acrescente um titulo e o escopo de aplicacao. Terceiro: mantenha tudo o que envolve permissoes e identidade fora do espaco de decisao do modelo. Quarto: separe as metricas de recuperacao e geracao; caso contrario, voce acabara corrigindo o componente errado.

As limitacoes tambem devem ser consideradas. O numero de 55% de perguntas subsequentes vem da analise interna da Taxbit e e um indicador de engajamento, nao de precisao. A solucao esta fortemente vinculada ao stack da AWS. Por enquanto, o agente nao le nenhum dado dos clientes e, portanto, nao consegue responder a perguntas como “Por que meu calculo ficou assim?”. Ainda assim, como modelo para um assistente de IA em qualquer setor regulado — seja financeiro, medico ou juridico —, o estudo de caso e muito pratico.