Instacart: Ava, el asistente de IA interno — más de la mitad de los empleados mensualmente, con sesiones de 20+ minutos

• Scaling Productivity with Ava — Instacart's Internal AI Assistant — tech-at-instacart (Zain Adil, Kevin Lei, Ada Cohen), 2023-09-07
• Unlocking Efficiency: How Ava Became Our AI Productivity Partner (43% экономят час+/нед, 60% инженеров, ~70K строк кода/мес) — tech-at-instacart (Dayle Lyng), 2024-01-31

Contexto

Instacart es el mayor servicio de entrega de comestibles de EE.UU. La historia de su asistente de IA interno no comenzó con un programa estratégico, sino con un hackathon de toda la empresa a principios de 2023: trabajando en proyectos de hackathon, un equipo de ingeniería entregó casi el doble de funciones de lo planeado con la ayuda de ChatGPT (específicamente GPT-4). El equipo llegó rápidamente a la conclusión: si el modelo acelera tanto el brainstorming, la codificación, la depuración y la generación de pruebas, cada desarrollador de la empresa necesita acceso, lo antes posible.

El momento también fue afortunado: Instacart trabajó estrechamente con OpenAI y tuvo acceso anticipado a GPT-4 con contexto de 32K-token, a través de APIs con garantías empresariales para privacidad de datos, seguridad y cuotas. Eso eliminó el principal obstáculo que lleva a las empresas a prohibir chatbots públicos: los datos no se filtran a servicios de terceros en términos incontrolados. Sobre esa base, el equipo construyó e lanzó rápidamente Ava, un asistente interno de estilo ChatGPT, inicialmente solo para ingenieros.

En septiembre de 2023, los ingenieros Zain Adil, Kevin Lei y Ada Cohen describieron el viaje de 'proyecto hackathon a herramienta interna' en el blog tech-at-instacart con métricas honestas de adopción, y un segundo artículo siguió en enero de 2024, con datos sobre cómo Ava echó raíces más allá de la ingeniería. El caso de Instacart se convirtió en uno de los relatos públicos que definen el género del 'ChatGPT interno': docenas de empresas construyeron herramientas similares, pero pocas publicaron los números de participación y los mecanismos que los impulsaron.

Problema

Permitir que los empleados usen chatbots de IA públicos es arriesgado: el código, documentos internos y datos de clientes no deben filtrarse a servicios de terceros sin garantías empresariales. Pero una prohibición sin alternativa tiene un precio predecible: pérdida de productividad y uso de sombra: los empleados llevarán tareas de trabajo a sus cuentas personales de ChatGPT de todas formas, solo sin supervisión de seguridad.

Por lo tanto, se necesita una herramienta interna, y aquí viene la segunda mitad del problema, la parte de producto. Las herramientas corporativas son notorias por perder frente a las de consumidor en usabilidad: si el asistente interno es peor que ChatGPT, los empleados simplemente no lo usarán, y la inversión se convierte en un portal muerto. La herramienta tenía que igualar a ChatGPT en experiencia de usuario y agregar lo que el servicio público no puede: integración con los flujos de trabajo de la empresa.

El tercer desafío fue escalar más allá de la ingeniería. Para los desarrolladores, el valor es obvio desde el primer prompt: código, depuración, pruebas. Pero los reclutadores, abogados, comerciantes y equipos de operaciones no tienen el hábito de escribir prompts, y una caja de texto en blanco es una barrera real de entrada. Lanzar el asistente en toda la empresa es un problema de producto, no técnico: necesita mecánicas que transfieran la experiencia de los usuarios avanzados a todos los demás. Y todo tenía que ser medido, no 'conteos de registros', que la PR interna puede fácilmente inflar, sino engagement e retención reales.

Solución

Ava es un asistente web de estilo ChatGPT en GPT-4 (incluyendo el modelo de contexto de 32K) y GPT-3.5. Para el lanzamiento inicial, solo ingenieros, el equipo priorizó características con valor instantáneo para desarrolladores: atajos de teclado convenientes, copia de código de un clic e actualizaciones automáticas entre modelos GPT-4 a medida que crecía el contexto de la conversación, el usuario nunca tiene que pensar en qué modelo necesita. Con el modelo de contexto más grande, los desarrolladores trabajaron con archivos de código completos: creando, depurando, revisando y resumiendo documentos.

La adopción superó las expectativas, y entrevistas posteriores al lanzamiento revelaron demanda más allá de la ingeniería, desde Ops y Reclutamiento hasta Brand Marketing y RRHH. Para usuarios no técnicos, el equipo redujo la barrera de 'caja en blanco' con plantillas de prompts bien elaboradas, agregó búsqueda de conversación de texto completo y compartición de conversación. El detalle clave de compartición: los enlaces de conversación se despliegan en vistas previas en Slack para que los colegas vean el contenido antes de hacer clic. El equipo señala directamente que esto ayudó significativamente a la adopción y conciencia del producto.

El siguiente paso fue el Prompt Exchange, un mercado de prompts interno. La lógica es instructiva: una gran parte de las conversaciones comenzaron a partir de plantillas, pero el pequeño equipo de Ava no tenía físicamente la experiencia de dominio para escribir buenas plantillas para cada departamento. En cambio, la publicación y clasificación de prompts se entregó a los propios empleados, las mejores prácticas comenzaron a propagarse horizontalmente, sin participación del equipo central.

El cuarto paso fue ir a donde los empleados ya trabajan: una aplicación de Slack. Mencionar @Ava en un hilo produce resúmenes y respuestas directamente en la conversación, 'como preguntarle a un colega'. Para entonces, casi un tercio de la organización ya estaba usando Ava mensualmente, y el canal de Slack eliminó la última fricción: tener que abrir una página separada y pegar contexto manualmente.

Los planes descritos en el artículo: recuperación sobre el conocimiento interno de Instacart y ejecución de código (el equipo llama a los datos el 'talón de Aquiles' de los LLMs), más abrir las APIs de Ava a cada equipo de la empresa para que construyan sus propias herramientas de IA sobre el asistente.

Resultado

Según el artículo de septiembre de 2023, más de la mitad de los empleados de Instacart usaban Ava mensualmente y más de 900 semanalmente; las sesiones duraban 20+ minutos, y los usuarios 'estaban produciendo y copiando una cantidad significativa de código'. El seguimiento de enero de 2024 añadió detalles: el 43% de la empresa ahorra más de una hora a la semana con Ava; el 60% de los ingenieros generan alrededor de 70,000 líneas de código con ella mensualmente; el plugin de Slack se invoca más de 5,000 veces al mes y resume más de 200 hilos y canales. Todas las cifras son datos internos de Instacart sin auditoría externa; tenga en cuenta también que 'una hora ahorrada por semana' es la autoevaluación de los empleados de encuestas, no una medición de rastreo de tiempo.

En nuestra opinión, el caso de Ava es valioso ante todo como un manual de mecánica de producto de adopción. Las herramientas internas generalmente se lanzan por decreto; Instacart en cambio recorrió el camino clásico del consumidor: comenzar con una audiencia que obtiene valor instantáneo (ingenieros), bajar la barrera de entrada (plantillas), loops virales (compartición de conversación con vistas previas de Slack), contenido generado por usuarios (el Prompt Exchange), e ir a donde el usuario ya vive (el bot de Slack). Cada mecánica aquí se transfiere a cualquier empresa, y juzgando por los números de retención, juntas funcionan mejor que cualquier mandato corporativo.

Nuestra segunda observación concierne métricas: Instacart reportó engagement, no registros: audiencia semanal, duración de sesión, volumen de código generado, frecuencia de invocación de Slack. Para herramientas de IA internas, esa es una disciplina rara: 'le dimos acceso a todos' y 'la mitad de la empresa realmente lo usa cada mes' son fundamentalmente declaraciones diferentes. Finalmente, la economía de la apuesta es reveladora: un proyecto de hackathon recibió un equipo de producto y garantías de seguridad empresariales dentro de meses, una velocidad de legalización que probablemente explica por qué el uso de IA de sombra nunca tuvo tiempo para echar raíces.

Lecciones aprendidas

1. Un ChatGPT interno con garantías empresariales es la forma más rápida de legalizar la IA en una empresa: los empleados obtienen la herramienta, la seguridad mantiene el control de los datos.
2. Las mecánicas de producto impulsan la adopción, no los mandatos: el Prompt Exchange y la compartición de conversación con vistas previas de Slack convierten los mejores prompts de los colegas en un canal de distribución viral.
3. Una caja de texto en blanco es una barrera para usuarios no técnicos: las plantillas de prompts prefabricadas abrieron Ava a Ops, Reclutamiento, Marketing y RRHH.
4. Ve a donde el usuario ya trabaja: el bot @Ava de Slack eliminó la fricción de página separada, 5,000+ invocaciones mensuales lo confirman.
5. Mide engagement, no registros: sesiones de 20+ minutos, 900+ usuarios semanales y 70,000 líneas de código al mes señalan utilidad real en lugar de curiosidad.
6. El equipo central no necesita ser experto en cada dominio: entrega la creación de plantillas y prompts a los propios usuarios, como hizo el Prompt Exchange.
7. Un hackathon es una fuente legítima de infraestructura de IA corporativa, siempre que el proyecto obtenga rápidamente un equipo de producto y garantías de seguridad.

Preguntas frecuentes