Box integra Nvidia Nemotron en la busqueda para agentes: 4 veces mas rapida y con un 90% menos de tokens

Si alguna vez ha creado agentes sobre archivos corporativos, ya conoce el problema: el agente recibe una pregunta, entra en el repositorio y carga medio documento en el contexto para encontrar un solo parrafo. Es lento, caro y propenso a errores. Box ha abordado el problema en la capa de plataforma al integrar los embeddings de Nvidia Nemotron en el nucleo de su producto.

Que se presento

En su conferencia para desarrolladores, Box presento Box Content Retrieval. En lugar de entregar documentos completos a los agentes, devuelve los fragmentos mas relevantes para una consulta o tarea concreta. El CEO Aaron Levie lo describio asi: el agente ya no necesita “leer cada documento”, sino que recibe las partes necesarias.

Las cifras anunciadas proceden de Nvidia. Kari Briski, vicepresidenta de IA generativa, espera respuestas cuatro veces mas rapidas, un 20% menos de errores y un 90% menos de tokens consumidos. La funcion estara disponible para todos los clientes de Enterprise Advance a principios del proximo ano.

Como funciona en la practica

Imagine a un abogado que pide a un agente encontrar todas las clausulas de limitacion de responsabilidad en un centenar de contratos. Una busqueda convencional por palabras clave pasara por alto formulaciones con otras palabras o escritas en otro idioma. Los embeddings funcionan de otra manera: convierten el texto en una representacion numerica de su significado. Por eso pueden localizar clausulas semanticamente cercanas aunque esten redactadas de forma distinta.

Nemotron Embed es una familia de modelos con pesos abiertos que utilizan un LLM para preprocesar los datos. El agente emplea despues el resultado de ese procesamiento durante la busqueda. Segun el articulo, la version de Nemotron publicada en julio encabezo RTEB, un benchmark que mide la calidad de la recuperacion de informacion. Los grandes laboratorios han tendido a subestimar este tipo de modelos, mientras que Nvidia ha realizado una apuesta importante por ellos.

El ahorro de tokens resulta bastante logico. Si el contexto recibe un solo fragmento relevante en lugar de un archivo extenso, el modelo lee menos texto. De ahi surgen las mejoras de velocidad y coste, mientras que una menor cantidad de ruido en el contexto suele traducirse en menos errores.

Limitaciones y dificultades

Los modelos por si solos no bastan. Aunque Nemotron esta disponible gratuitamente, Box se apoya en sus propios metadatos y en su sistema de derechos de acceso, por lo que reproducir esta solucion desde cero no sera sencillo. Levie afirma que la empresa ha empaquetado aproximadamente cinco tecnologias diferentes en una API sencilla. Para Box, esto supone una ventaja defensiva; para los equipos que desarrollan algo similar internamente, es una advertencia sobre la carga de trabajo necesaria.

Tambien hay una salvedad respecto a las cifras. Las promesas de un rendimiento 4 veces superior, un 20% menos de errores y un 90% menos de tokens proceden de Nvidia y del propio proveedor, y el producto todavia no se ha lanzado. Se desconocen las condiciones de las mediciones, por lo que sera necesario verificar los resultados con datos propios. Ademas, la funcion solo estara disponible en el plan de mayor nivel, de modo que para el resto de los clientes de Box sigue siendo una opcion futura.

Que hacer en la practica

En primer lugar, si desarrolla agentes con acceso a documentos, considere la recuperacion de informacion como una capa independiente, no como un detalle menor junto al modelo. En la mayoria de los casos, es esta capa la que determina tanto la factura de tokens como la calidad de las respuestas.

En segundo lugar, ya puede probar los modelos abiertos de embeddings Nemotron con su propio corpus y compararlos con lo que utiliza actualmente. Conviene prestar especial atencion a los datos multilingues, donde las palabras clave suelen fallar.

En tercer lugar, los equipos de producto deben recordar que los derechos de acceso y los metadatos forman parte de la calidad de la busqueda. Un agente que encuentra la informacion correcta pero no tiene en cuenta quien puede verla no sirve para una empresa. Box considera esta capa su ventaja, y este mismo aspecto debe evaluarse al elegir entre una plataforma lista para usar y un sistema propio.