Standard Bank reduz de duas semanas para duas horas a checagem de aplicativos de IA
Antes de lançar um aplicativo de IA, o banco precisa provar ao comitê de risco que ele é seguro, o que significa duas semanas de revisão manual de documentos. O Standard Bank Group e a AWS entregaram a um modelo-juiz a tarefa de conferir o código e as respostas do aplicativo com as regras. Em seis avaliações, o relatório ficou pronto em duas horas, e as pontuações de risco subiram 14% após os ajustes. Equipes de setores regulados devem transformar políticas em testes automatizados.
Processado por IA de AWS Machine Learning Blog; editado por Hamidun News
Imagine que uma equipe montou em poucos dias um chatbot com um modelo generativo, mas não pode liberá-lo aos clientes do banco: antes, o comitê de risco precisa se certificar de que o bot não dá respostas perigosas, não viola a política da empresa e deixa rastros para auditoria. Até então, isso significava duas semanas de trabalho manual: as pessoas liam documentos, revisavam o código e faziam elas mesmas perguntas capciosas ao aplicativo. O Standard Bank Group, junto com a AWS Professional Services, automatizou justamente essa parte.
Agora, um modelo de linguagem no papel de «juiz» (a abordagem LLM-as-a-judge) confere os materiais do aplicativo com uma lista de critérios extraídos de padrões internacionais e de regras internas do banco. Segundo seis avaliações, o relatório completo de riscos fica pronto em cerca de duas horas, em vez de duas semanas, e as pontuações de risco dos cenários melhoraram 14% após os ajustes. Para equipes que implantam IA em setores regulados, é um exemplo de como evitar que a aprovação vire a etapa mais lenta do pipeline.
Que sistema foi construído
O banco não escreveu uma nova política de IA. Ele já tinha uma prática de gestão de riscos de modelos (explicabilidade, justiça) e um processo para avaliar o nível de risco de cada novo cenário antes do lançamento. A tarefa era mais restrita: automatizar a coleta de evidências e os testes e levar os resultados aos «gates» de aprovação já existentes. A decisão continua com o comitê de risco, que agora analisa dados uniformes, coletados da mesma forma para todos os cenários.
Tudo roda dentro da conta AWS do próprio banco. Documentos, código e resultados dos testes ficam em um bucket do Amazon S3, o questionário é conduzido pelo AWS Well-Architected Tool, o pipeline é orquestrado pelo Step Functions e a avaliação é feita por um foundation model no Amazon Bedrock. O acesso a ele é controlado via IAM, como nas demais cargas de trabalho do banco. O Bedrock não repassa prompts e respostas aos provedores dos modelos e não treina modelos com esses dados. Como o Bedrock tem uma API única, é possível migrar para um modelo-juiz mais novo trocando uma configuração, sem reconstruir o pipeline. Isso importa quando modelos e ferramentas mudam a cada três a seis meses.
Como funciona a checagem
São quatro etapas. Primeiro, um agente de pré-avaliação no AWS Fargate varre o repositório e a documentação, associa os arquivos a cerca de 40 perguntas do questionário (por exemplo, «documentação técnica incompleta» ou «supervisão humana insuficiente») e o preenche com links para as evidências. A equipe de desenvolvimento confere as respostas, corrige erros e acrescenta o que o agente não encontrou.
Em seguida, o pipeline examina quatro tipos de material: a documentação do sistema, as políticas (papéis, procedimentos de tratamento de incidentes), o código-fonte com o prompt de sistema e o comportamento do aplicativo em operação. Para os testes ao vivo, ele chama o aplicativo via Lambda ou API. As perguntas de um usuário comum vêm da equipe, e o pipeline acrescenta um conjunto embutido de jailbreaks e perguntas fora do tema, às quais o aplicativo deve se recusar a responder.
Uma mesma consulta é enviada várias vezes, na versão original e em versões reformuladas, e um modelo de embedding verifica se o sentido das respostas se mantém. Todas as respostas são salvas no S3, para que os revisores vejam exatamente o que o aplicativo gerou.
Depois, o juiz, sem fine-tuning nem customização, responde «sim» ou «não» a perguntas específicas: há ou não uma evidência concreta nos materiais. Cada pergunta está vinculada a um item de um padrão internacional de governança, riscos ou segurança de IA. O banco acrescentou perguntas de seus próprios padrões, e o total passou de 300. Elas cobrem as oito dimensões de IA responsável da AWS: confiabilidade e robustez, privacidade e segurança, transparência, justiça, segurança, controlabilidade, governança e explicabilidade.
Quem calcula as pontuações não é o modelo, mas uma fórmula fixa, que a equipe de risco pode auditar. A probabilidade de risco equivale à proporção de evidências não encontradas, a gravidade é definida por um nível que a equipe de risco pode alterar, e a nota final fica em uma escala que vai de «Muito baixo» a «Crítico». Cada detalhe ausente está ligado a uma medida concreta e a um item do padrão ou da política, de modo que o responsável de risco pode explicar qualquer conclusão ao regulador. Cada avaliação é executada várias vezes, e resultados instáveis são sinalizados na interface de revisão. As chamadas ao modelo passam pelo Bedrock Guardrails.
O resultado sai em quatro formatos: uma apresentação para a diretoria, um checklist de medidas, um relatório técnico detalhado e um dashboard no CloudWatch, que mostra a evolução das pontuações por cenário.
Política como teste e ressalvas
A ideia mais prática aqui é a «fábrica de perguntas». Ela gera perguntas adicionais para o juiz diretamente a partir dos documentos internos do banco. Digamos que a política mudou o requisito de tratamento de incidentes: em vez de enviar um lembrete, muda-se a verificação, e todas as avaliações seguintes aplicam a nova regra automaticamente.
Na etapa de proof of concept, a avaliação é opcional e mostra as lacunas com antecedência; na etapa de construção, ela é obrigatória e entra nas evidências formais apresentadas ao comitê. Hoje ela roda em ambiente de produção antes do lançamento. Execuções recorrentes, por agenda e a cada mudança de código ou configuração, estão planejadas para depois da conexão das cargas de trabalho reais.
Vale lembrar as ressalvas. Trata-se de um post da própria AWS, a amostra de seis avaliações é pequena e não há confirmação independente. O sistema coleta evidências, mas não certifica conformidade com a lei: a responsabilidade pelas decisões regulatórias continua com o banco. O juiz continua sendo um modelo de linguagem, e por isso o banco limita seu trabalho a perguntas estreitas de «sim/não», com execuções repetidas.
A conclusão prática: comece pelos processos que já existem, transforme as políticas em testes verificáveis e rode-os na fase de protótipo, quando as correções saem mais baratas. Assim, o aumento no número de aplicativos de IA não exige um aumento proporcional na equipe de revisores.
- 20 de nov. de 2026Valor de mercado da Anthropic no IPO passa de US$ 2 trilhões — 3,5 vezes o mercado de ações da Rússia
- 20 de nov. de 2026AWS lança em 15 países serviço de implantação de IA: do protótipo à produção em 45 dias
- 20 de nov. de 2026Unsiloed levanta US$ 7,5 milhões para ler PDFs para agentes de IA: 99,78% de valores corretos em teste
- 20 de nov. de 2026AWS adiciona rotulagem automática e dados sintéticos ao SageMaker AI para treinar modelos
Perguntas frequentes sobre a notícia
O que se sabe sobre Que sistema foi construído?
O banco não escreveu uma nova política de IA. Ele já tinha uma prática de gestão de riscos de modelos (explicabilidade, justiça) e um processo para avaliar o nível de risco de cada novo cenário antes do lançamento. A tarefa era mais restrita: automatizar a coleta de evidências e os testes e levar os resultados aos «gates» de aprovação já existentes. A decisão continua com o comitê de risco, que agora analisa dados uniformes, coletados da mesma forma para todos os cenários.
Como funciona a checagem?
São quatro etapas. Primeiro, um agente de pré-avaliação no AWS Fargate varre o repositório e a documentação, associa os arquivos a cerca de 40 perguntas do questionário (por exemplo, «documentação técnica incompleta» ou «supervisão humana insuficiente») e o preenche com links para as evidências. A equipe de desenvolvimento confere as respostas, corrige erros e acrescenta o que o agente não encontrou.
O que se sabe sobre Política como teste e ressalvas?
A ideia mais prática aqui é a «fábrica de perguntas». Ela gera perguntas adicionais para o juiz diretamente a partir dos documentos internos do banco. Digamos que a política mudou o requisito de tratamento de incidentes: em vez de enviar um lembrete, muda-se a verificação, e todas as avaliações seguintes aplicam a nova regra automaticamente.
Ship AI Faster with Founders, Engineers & Weekly Architecture Reviews
Inside Vibe Club (hamidun.com/club) — weekly live masterminds with Zhemal Khamidun, Tech Radar, full LMS access, and 370+ production Claude Code skills.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.