Box integra Nvidia Nemotron a busca para agentes: 4 vezes mais rapida e com 90% menos tokens

Se voce ja criou agentes sobre arquivos corporativos, conhece bem o problema: o agente recebe uma pergunta, entra no repositorio e carrega metade de um documento no contexto para encontrar um unico paragrafo. Isso e lento, caro e sujeito a erros. A Box decidiu resolver o problema na camada da plataforma, integrando os embeddings Nvidia Nemotron ao nucleo do produto.

O que foi apresentado

Na sua conferencia para desenvolvedores, a Box apresentou o Box Content Retrieval. Em vez de entregar documentos inteiros aos agentes, o recurso retorna os trechos mais relevantes para uma consulta ou tarefa especifica. O CEO Aaron Levie descreveu a ideia desta forma: o agente nao precisa mais “ler cada documento”; ele recebe apenas as partes necessarias.

Os numeros divulgados sao da Nvidia. Kari Briski, vice-presidente de IA generativa, espera respostas quatro vezes mais rapidas, 20% menos erros e 90% menos tokens consumidos. O recurso ficara disponivel para todos os clientes do plano Enterprise Advance no inicio do proximo ano.

Como funciona na pratica

Imagine um advogado pedindo a um agente que encontre todas as clausulas de limitacao de responsabilidade em uma centena de contratos. Uma busca convencional por palavras-chave deixara passar formulacoes escritas com outras palavras ou em outro idioma. Os embeddings funcionam de outra maneira: eles transformam o texto em uma representacao numerica do seu significado. Assim, clausulas semanticamente semelhantes podem ser encontradas mesmo quando foram redigidas de forma diferente.

Nemotron Embed e uma familia de modelos com pesos abertos que usam um LLM para pre-processar os dados. O agente utiliza posteriormente o resultado desse processamento durante a busca. Segundo o artigo, a versao do Nemotron lancada em julho liderou o RTEB, benchmark que mede a qualidade da recuperacao de informacoes. Grandes laboratorios muitas vezes subestimaram modelos desse tipo, enquanto a Nvidia fez uma aposta significativa neles.

A economia de tokens e bastante logica. Se o contexto recebe um unico trecho relevante em vez de um arquivo extenso, o modelo le menos texto. Isso gera ganhos de velocidade e custo, enquanto menos ruido no contexto geralmente significa menos erros.

Limitacoes e armadilhas

Os modelos, por si so, nao sao suficientes. Embora o Nemotron esteja disponivel gratuitamente, a Box depende dos seus proprios metadados e do seu sistema de direitos de acesso, o que torna dificil reproduzir essa solucao do zero. Levie afirma que a empresa reuniu cerca de cinco tecnologias diferentes em uma API simples. Para a Box, isso representa uma barreira competitiva; para equipes que desenvolvem algo semelhante internamente, e um alerta sobre o volume de trabalho envolvido.

Ha tambem uma ressalva em relacao aos numeros. As promessas de desempenho 4 vezes superior, 20% menos erros e 90% menos tokens partem da Nvidia e do proprio fornecedor, enquanto o produto ainda nao foi lancado. As condicoes das medicoes sao desconhecidas, portanto sera necessario validar os resultados com dados proprios. Alem disso, o recurso estara disponivel apenas no plano mais avancado, o que significa que, para os demais clientes da Box, ele continua sendo uma opcao futura.

O que fazer na pratica

Primeiro, se voce esta criando agentes com acesso a documentos, trate a recuperacao de informacoes como uma camada separada, e nao como um detalhe menor ao lado do modelo. Na maioria dos casos, e essa camada que determina tanto a conta de tokens quanto a qualidade das respostas.

Segundo, ja e possivel testar os modelos abertos de embeddings Nemotron no seu proprio corpus e compara-los com o sistema que voce utiliza atualmente. Vale dedicar atencao especial aos dados multilingues, nos quais as palavras-chave frequentemente falham.

Terceiro, as equipes de produto devem lembrar que os direitos de acesso e os metadados fazem parte da qualidade da busca. Um agente que encontra a informacao certa, mas nao considera quem pode ve-la, e inutil para uma empresa. A Box considera essa camada a sua vantagem, e esse tambem deve ser um fator central na escolha entre uma plataforma pronta e uma solucao desenvolvida internamente.