Cognition enseña a Devin a asignar límites según la eficiencia: escala de 0–100

Cognition, la empresa detrás del agente Devin, propone a sus clientes corporativos abandonar los topes únicos de gasto en IA y repartir el presupuesto según el rendimiento. Para ello ha lanzado tres funciones: Efficiency Score (una puntuación de 0–100 para cada ingeniero), Devin Coach (sugerencias sobre el prompt antes del lanzamiento) y la aprobación automática de aumentos de límite para los usuarios eficientes. La aprobación automática ya está disponible para todos los clientes del plan Devin Enterprise. Cognition compara el límite global con una congelación de contrataciones: restringe tanto a quienes sacan el máximo partido al agente como a quienes no reciben ninguna explicación de qué deberían hacer de otra manera.

Cómo se calcula Efficiency Score

La unidad básica en Cognition es la Agent Compute Unit (ACU), que combina el coste del LLM y el de la infraestructura en la nube. La puntuación se basa en las sesiones recientes, no en la media de todo el historial, de modo que los errores antiguos no se arrastran indefinidamente.

Primero, Devin determina si la sesión produjo un resultado útil. Si hubo un PR, tiene que estar mergeado. Si no lo hubo, un clasificador pequeño decide si el agente avanzó en la tarea: si analizó un bug o respondió a una pregunta analítica. Así, las investigaciones y la planificación también cuentan. Después, para cada sesión computada, se estima cuántas horas habría tardado una persona en hacer el mismo trabajo. Cognition contrastó esas estimaciones con las que los propios ingenieros hicieron de sus sesiones.

El resultado final combina dos métricas:

• E (eficiencia): horas productivas por ACU;
• V (volumen): horas productivas al día, con independencia del coste;
• fórmula: Score = 100 × (E + λV(1 − E)), donde λ = 0,2;
• ambas métricas se normalizan a una escala de 0–1 y se aplanan en los valores altos;
• calificaciones: Healthy, Satisfactory, Needs Improvement y Unknown, si hay pocos datos.

Los ejemplos sobre los últimos 200 ACU muestran cómo funciona. Un ingeniero «típico» (E = 0,50, V = 0,50) obtiene 55. Un power user con la misma E, pero con V = 0,95, obtiene 60. Uno «intensivo pero derrochador» (E = 0,27, V = 0,95) llega a 41. Un ingeniero cuidadoso con poco volumen (E = 0,75, V = 0,17) obtiene 76. El volumen aporta como máximo una quinta parte de los puntos que faltan para llegar a 100, así que con el volumen solo no se consigue una puntuación alta.

Coach y aprobación automática

Devin Coach analiza el prompt antes del lanzamiento. Cognition ha identificado los errores típicos de los principiantes: una petición demasiado general, el modo más caro por defecto y varias tareas sin relación en una misma sesión. Por ejemplo, ante «reescribe la facturación para usar usage-based pricing», Coach sugerirá empezar por elaborar un plan. Para cambiar el texto de un botón, recomendará usar el modo normal en lugar del Ultra. Ante peticiones no relacionadas, propondrá una sesión nueva o sesiones secundarias, y ante solicitudes claramente personales, como planificar unas vacaciones, recordará que no es un uso laboral.

Por debajo funciona un pequeño clasificador LLM con un conjunto fijo de patrones. Se ajustó con varios cientos de ejemplos etiquetados, con especial atención a los casos en los que no hay que tocar un buen prompt. El administrador elige el nivel de intervención: sugerencias que se pueden ignorar (por defecto), confirmación obligatoria para un prompt marcado como sesión nueva, o desactivación total. Coach no reescribe los prompts en silencio. La analítica para administradores muestra qué sugerencias ven, aceptan y rechazan los usuarios.

La aprobación automática se activa en Usage policies con la opción «Approve based on efficiency». Cuando un ingeniero con calificación Healthy o Satisfactory se acerca a su límite, Devin lo sube por sí mismo, pero nunca por encima del techo fijado por el administrador, y los límites generales de la organización siguen vigentes. Si la solicitud supera el techo, Devin concede el máximo y traslada el resto al administrador. No hay rechazos automáticos: las solicitudes de usuarios Needs Improvement y Unknown pasan a revisión manual, donde el administrador ve el motivo, la eficiencia, la mezcla de modelos y el consumo.

Cognition presenta dos casos reales de empresas distintas. En el primero, con aprobaciones manuales, un ingeniero estuvo bloqueado cuatro días y sus merged PR de esa semana cayeron a un tercio de lo habitual. En el segundo, con aprobación automática, el ingeniero chocó 22 veces con el límite, Devin se lo subió cada vez y el número semanal de merged PR pasó de 30 a casi 80. Dos casos no sustituyen a un estudio, y la métrica de «horas productivas» sigue siendo una estimación interna de la propia Cognition.

Qué deben comprobar los equipos antes de implantarlo

Lo primero es revisar en qué se sustenta su tope actual. Si es una cifra única para todos, lo más probable es que estén penalizando a los usuarios más útiles. Pero tampoco conviene aceptar la puntuación de Cognition sin más: contrástenla con su propia realidad, por ejemplo con la proporción de PR que llegan a merge y con el coste de ACU por merged PR.

Lo razonable es empezar con un techo de aprobación automática conservador y ampliarlo a partir de los datos. Activen Coach en modo sugerencias y vigilen la proporción de recomendaciones aceptadas: una proporción baja indica un clasificador ruidoso o problemas de formación. Además, tengan en cuenta que los usuarios Needs Improvement acaban en la cola manual, así que conviene acordar de antemano quién habla con esos ingenieros y cómo.

En los próximos meses, Cognition promete presupuestos flexibles: el administrador reparte el dinero entre los responsables de departamento, y estos distribuyen los límites entre los equipos y aprueban las solicitudes por su cuenta.