Standard Bank reduce de dos semanas a dos horas la revisión de sus aplicaciones de IA
Antes de lanzar una aplicación de IA, un banco debe demostrar al comité de riesgos que es segura, y eso supone dos semanas de revisión manual de documentos. Standard Bank Group, junto con AWS, encargó a un modelo juez que contraste el código y las respuestas de la aplicación con las reglas. Según seis evaluaciones, el informe está listo en dos horas, y las puntuaciones de riesgo mejoraron un 14% tras las correcciones. Los equipos de sectores regulados deberían convertir sus políticas en pruebas automáticas.
Procesado por IA desde AWS Machine Learning Blog; editado por Hamidun News
Imagine que un equipo monta en pocos días un chatbot con un modelo generativo y no puede lanzarlo a los clientes del banco: primero, el comité de riesgos debe comprobar que el bot no da respuestas peligrosas, no infringe la política y deja rastro para la auditoría. Hasta ahora, eso significaba dos semanas de trabajo manual: los revisores leían documentos, examinaban el código y hacían ellos mismos preguntas capciosas a la aplicación. Standard Bank Group, junto con AWS Professional Services, ha automatizado precisamente esa parte.
Ahora un modelo de lenguaje en el papel de «juez» (el enfoque LLM-as-a-judge) revisa los materiales de la aplicación según una lista de criterios extraídos de estándares internacionales y de las normas internas del banco. Tras seis evaluaciones, el informe completo de riesgos se genera en unas dos horas en lugar de dos semanas, y las puntuaciones de riesgo de los casos de uso mejoraron un 14% después de las correcciones. Para los equipos que implantan IA en sectores regulados, es un ejemplo de cómo evitar que la aprobación se convierta en el paso más lento de la cadena.
Qué se ha construido exactamente
El banco no escribió una nueva política de IA. Ya contaba con prácticas de gestión de riesgos de modelos (explicabilidad, equidad) y con un proceso para evaluar el nivel de riesgo de cada nuevo caso de uso antes de su lanzamiento. El objetivo era más acotado: automatizar la recopilación de evidencias y las pruebas, y llevar los resultados a las «puertas» de aprobación ya existentes. La decisión sigue en manos del comité de riesgos, pero ahora este trabaja con datos homogéneos, recopilados de la misma forma para todos los casos de uso.
Todo funciona dentro de la cuenta de AWS del propio banco. Los documentos, el código y los resultados de las pruebas se guardan en un bucket de Amazon S3, el cuestionario lo gestiona AWS Well-Architected Tool, Step Functions orquesta el flujo y la evaluación corre a cargo de un modelo fundacional de Amazon Bedrock. El acceso a este se controla mediante IAM, igual que en otras cargas de trabajo del banco.
Bedrock no envía los prompts ni las respuestas a los proveedores de modelos y no entrena modelos con ellos. Como Bedrock tiene una API única, pasar a un modelo juez más reciente exige solo cambiar un ajuste, sin rehacer el flujo. Esto importa cuando los modelos y las herramientas cambian cada tres a seis meses.
Cómo funciona la revisión
Hay cuatro pasos. Primero, un agente de evaluación previa en AWS Fargate escanea el repositorio y la documentación, relaciona los archivos con unas 40 preguntas del cuestionario (por ejemplo, «documentación técnica incompleta» o «supervisión humana insuficiente») y lo rellena con enlaces a las evidencias. El equipo de desarrollo revisa las respuestas, corrige errores y añade lo que el agente no encontró.
Después, el flujo analiza cuatro tipos de material: la documentación del sistema, las políticas (roles, procedimientos de gestión de incidentes), el código fuente con el prompt de sistema y el comportamiento real de la aplicación. Para las pruebas en vivo, invoca la aplicación mediante Lambda o API. Las preguntas de un usuario normal las aporta el equipo; el flujo añade un conjunto integrado de jailbreaks y preguntas fuera de tema, a las que la aplicación debe negarse a responder.
Cada consulta se envía varias veces, en su versión original y en otra reformulada, y un modelo de embeddings comprueba que el sentido de las respuestas se mantiene. Todas las respuestas se guardan en S3 para que los revisores vean qué generó exactamente la aplicación.
A continuación, el juez, sin ajuste fino ni personalización, responde «sí» o «no» a preguntas muy concretas: si en los materiales hay una evidencia específica. Cada pregunta está vinculada a un punto de un estándar internacional de gobernanza, riesgos o seguridad de la IA. El banco añadió preguntas de sus propios estándares, y en total superan las 300. Abarcan las ocho dimensiones de IA responsable de AWS: veracidad y robustez, privacidad y seguridad, transparencia, equidad, protección, controlabilidad, governance y explicabilidad.
Las puntuaciones no las calcula el modelo, sino una fórmula fija que el equipo de riesgos puede auditar. La probabilidad de riesgo equivale a la proporción de evidencias no encontradas; la gravedad la determina un nivel que el equipo de riesgos puede modificar; y la evaluación final se sitúa en una escala que va de «Muy bajo» a «Crítico». Cada detalle que falta se asocia a una medida concreta y a un punto del estándar o de la política, de modo que el responsable de riesgos puede justificar cualquier conclusión ante el regulador. Cada evaluación se ejecuta varias veces, y las conclusiones inestables se marcan en la interfaz de revisión. Las llamadas al modelo pasan por Bedrock Guardrails.
El resultado se entrega en cuatro formatos: una presentación para la dirección, una lista de verificación de medidas, un informe técnico detallado y un panel en CloudWatch que muestra la evolución de las puntuaciones por caso de uso.
La política como prueba y las salvedades
La idea más práctica es la «fábrica de preguntas». Genera preguntas adicionales para el juez directamente a partir de los documentos internos del banco. Supongamos que cambia en la política el requisito de gestión de incidentes: en lugar de enviar un memorando, se modifica la comprobación, y todas las evaluaciones posteriores aplican la nueva regla automáticamente.
En la fase de proof of concept, la evaluación es opcional y muestra las carencias de antemano; en la fase de desarrollo es obligatoria y forma parte de las evidencias formales para el comité. Ahora funciona en el entorno de producción antes del lanzamiento. Las ejecuciones periódicas programadas, y las que se activen por cambios en el código o en la configuración, están previstas para cuando se conecten las cargas de trabajo reales.
Conviene tener presentes varias salvedades. Se trata de una publicación del propio AWS, la muestra de seis evaluaciones es pequeña y no hay confirmaciones independientes. El sistema recopila evidencias, pero no certifica el cumplimiento legal: la responsabilidad de las decisiones regulatorias sigue siendo del banco. El juez sigue siendo un modelo de lenguaje, por lo que el banco limita su trabajo a preguntas concretas de «sí/no» con ejecuciones repetidas.
La conclusión práctica: empiece por los procesos que ya existen, convierta las políticas en pruebas verificables y ejecútelas en la fase de prototipo, cuando las correcciones salen más baratas. Así, el aumento del número de aplicaciones de IA no exige un aumento proporcional de la plantilla de revisores.
- 20 nov 2026La capitalización de Anthropic en su IPO supera los $2 billones, 3,5 veces el mercado bursátil ruso
- 20 nov 2026AWS lleva a 15 países su servicio de implantación de IA: del prototipo a producción en 45 días
- 20 nov 2026Unsiloed capta $7,5 millones para que los agentes de IA lean PDF: 99,78% de valores correctos en su prueba
- 20 nov 2026AWS añade a SageMaker AI etiquetado automático y datos sintéticos para entrenar modelos
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué se ha construido exactamente?
El banco no escribió una nueva política de IA. Ya contaba con prácticas de gestión de riesgos de modelos (explicabilidad, equidad) y con un proceso para evaluar el nivel de riesgo de cada nuevo caso de uso antes de su lanzamiento. El objetivo era más acotado: automatizar la recopilación de evidencias y las pruebas, y llevar los resultados a las «puertas» de aprobación ya existentes.
Cómo funciona la revisión?
Hay cuatro pasos. Primero, un agente de evaluación previa en AWS Fargate escanea el repositorio y la documentación, relaciona los archivos con unas 40 preguntas del cuestionario (por ejemplo, «documentación técnica incompleta» o «supervisión humana insuficiente») y lo rellena con enlaces a las evidencias. El equipo de desarrollo revisa las respuestas, corrige errores y añade lo que el agente no encontró.
¿Qué se sabe sobre La política como prueba y las salvedades?
La idea más práctica es la «fábrica de preguntas». Genera preguntas adicionales para el juez directamente a partir de los documentos internos del banco. Supongamos que cambia en la política el requisito de gestión de incidentes: en lugar de enviar un memorando, se modifica la comprobación, y todas las evaluaciones posteriores aplican la nueva regla automáticamente.
Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews
Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.