MLCommons lançou o AILuminate: como avaliar riscos de IA em dinheiro

O risco já está na contabilidade

A teoria da gestão de riscos de IA não é uma filosofia nova. Qualquer organização madura já roda um ciclo de gestão de riscos: identifica vulnerabilidades, estima perdas esperadas, aplica controles proporcionais ao tamanho do risco e presta contas a quem é responsável por isso. As seguradoras valorizam isso, os auditores testam isso, os conselhos de administração assinam embaixo disso.

Mas o custo das falhas está crescendo. O estudo IBM Cost of a Data Breach 2025 mostrou: o custo médio de um vazamento de dados é de US$ 4,44 milhões globalmente e um recorde de US$ 10,22 milhões nos EUA. 63% das organizações invadidas não tinham nenhuma política de governança de IA ou estavam apenas começando a escrevê-la. Empresas com um alto nível de "IA sombra" — quando sistemas são implantados de forma caótica e sem controle — perdem, em média, US$ 670 mil a mais.

A regulação adiciona multas. GDPR e CCPA, padrões criados antes mesmo da IA generativa, já restringem rigidamente quais decisões um sistema de IA pode tomar. O EU AI Act prevê multas de até €35 milhões ou 7% do faturamento global — o que estimula uma gestão de riscos proativa.

Como a aviação se tornou segura

O benefício de uma boa gestão de um novo risco não é apenas evitar perdas. É a saúde de todo o setor. Em 1959, a aviação comercial dos EUA tinha cerca de 40 acidentes fatais por milhão de voos. Em uma década, esse número caiu para menos de 2. Nos últimos 50 anos, o indicador continuou caindo pela metade a cada década.

A aviação se tornou segura porque o setor construiu um sistema de gestão de riscos e o aprimorou continuamente. As medições criaram confiança, e a confiança permitiu que voar fosse tratado como rotina. Vários bilhões de passageiros por ano, além de seguradoras e credores de mais de 30 mil aeronaves comerciais, agora tratam o voo como algo corriqueiro.

O fim da autoavaliação

A gestão de riscos de IA exige medições honestas. As farmacêuticas não julgam seus próprios testes clínicos. Empresas de capital aberto não auditam seus próprios relatórios financeiros.

Mas no setor de IA, os fornecedores ainda se autoavaliam, rodam seus próprios benchmarks e divulgam seus próprios resultados. O caso da revisão de código: um fornecedor rodou seu próprio benchmark e obteve 82% de precisão na detecção de bugs; um concorrente recalculou nos mesmos repositórios e chegou a 45%; quando um laboratório independente criou seu próprio benchmark, nenhum fornecedor superou 63%. Os produtos não mudaram.

Em dezembro de 2024, a MLCommons lançou o AILuminate — uma família de benchmarks independentes com governança por consenso que avalia o quão confiável um sistema de IA é para evitar respostas nocivas. Eles são criados por grupos de trabalho com participação de empresas de IA, academia e sociedade civil. Os fornecedores não escrevem sua própria prova, não veem as perguntas e não têm acesso ao gabarito de avaliação.

O que fazer com as avaliações

Pontuações por tipo de dano mostram onde o risco se concentra para o seu caso de uso específico. É a matéria-prima para o registro de riscos.

Os resultados determinam os controles. Se um sistema perde pontos em uma avaliação sob pressão adversarial, isso é uma indicação concreta e embasada em evidências para construir defesas em nível de sistema — não um mandato vago de "tenha cuidado".

Teste sua própria configuração. Este é o ponto que a maioria dos programas pula. Como comprador do sistema, teste exatamente o que você vai implantar, usando o mesmo teste do fornecedor. A avaliação deve refletir o funcionamento real com sua integração — é a diferença entre o consumo de combustível na etiqueta de um carro e o consumo na sua estrada. A etiqueta descreve o processo de fabricação, não o seu trajeto diário.

Agent Reliability Profile

A avaliação do modelo mostra como ele funciona saindo da linha de produção. Mas não diz nada sobre como ele vai funcionar depois de implantado. A maioria das empresas não implanta modelos puros, mas sim modelos encapsulados: em prompts, conectados a dados internos, com ferramentas, às vezes operando como agentes. É justamente esse encapsulamento que torna o modelo útil — e frágil.

A mesa de trabalho financeiro da MLCommons desenvolveu o Agent Reliability Profile — um artefato por agente que registra uma afirmação concreta e refutável: determinado sistema funciona de forma confiável em um nível de autonomia específico, em um escopo definido de operações, sob uma camada de controle determinada. Não é um "vibe" sobre o quão "confiável" é o agente, mas uma afirmação concreta que um auditor ou segurador pode verificar. Esse perfil foi finalista do hackathon CDIR.

Trate a IA como qualquer outro risco

O risco de IA pode ser identificado, precificado, gerido de forma proporcional e reportado — assim como as empresas fazem há décadas com risco de crédito, exposição cambial e segurança do trabalho. Isso não é um freio para a adoção de IA, e sim uma condição para ela. O risco já está nos seus livros contábeis. A única pergunta é se você vai medi-lo.