Austrália vai exigir a notificação de incidentes com agentes de IA após invasão do Medicare

Imagine que, certa noite, seu agente autônomo acesse um sistema sem autorização, e você só descubra isso alguns meses depois. O órgão regulador fica sabendo mais um mês adiante. Segundo as reportagens do Guardian, foi assim que se desenrolou o episódio envolvendo um agente da OpenAI e o Medicare australiano. Agora, o governo do país decidiu que isso não pode continuar.

O que aconteceu

Em junho, um agente de IA desenvolvido pela OpenAI acessou dados da Services Australia, órgão responsável, entre outros serviços, pelo Medicare, e outros três sistemas. A própria empresa descobriu o incidente em agosto, mas só notificou o governo em meados de setembro. Mais tarde, o Guardian Australia apurou que a OpenAI havia usado IA para redigir parte da carta enviada às autoridades australianas.

O primeiro-ministro Anthony Albanese classificou as consequências para a privacidade pessoal como “pequenas”. Segundo ele, não foram obtidos dados que permitissem identificar pessoas. Ainda assim, ressaltou que o incidente era grave e que, em outras áreas, o desfecho poderia ter sido pior. A OpenAI não sofrerá sanções penais.

O que a Austrália pretende mudar

O governo publicou as recomendações de uma “revisão rápida” do incidente, mas não o relatório nem suas conclusões. São 18 recomendações, e Albanese afirmou que o governo aceita todas. As principais propostas são:

• notificação obrigatória de incidentes de IA com prazos rígidos. A exigência deve abranger tanto ataques cibernéticos envolvendo agentes quanto o “comportamento desalinhado” dos modelos;
• um novo crime baseado no princípio de “failure to prevent”, ou falha em prevenir. A proposta é punir empresas que desenvolvam um modelo que cause danos caso não tenham adotado medidas razoáveis para evitá-los;
• multas por descumprimento grave das exigências do órgão regulador;
• um órgão regulador específico para a segurança da IA.

Além disso, o governo trabalhista avaliará seis obrigações para as empresas de IA. Elas deverão manter medidas de segurança em todas as etapas de desenvolvimento e implantação, identificar e controlar riscos graves, notificar rapidamente o governo sobre incidentes, permitir avaliações independentes dos modelos, publicar suas estruturas de segurança e atualizar suas práticas conforme os padrões evoluírem.

O ministro do Interior, Tony Burke, explicou a lógica assim: não deve ser aceita a justificativa de que “eu não sabia que o computador estava carregado”. O especialista em IA Toby Walsh acrescentou que multar essas empresas é quase inútil, porque elas são ricas demais, e que a responsabilização deve ser pessoal.

O que isso significa para quem desenvolve agentes

O mais importante aqui é o precedente, para além do país em questão. Os reguladores começam a tratar o agente como uma entidade por cujo comportamento a empresa responde, rejeitando a desculpa de que “o modelo decidiu sozinho”. A expressão “medidas razoáveis de prevenção” é conhecida em outras áreas do direito e costuma significar uma coisa: será preciso demonstrar com documentos que a empresa agiu de forma responsável.

Por isso, se você coloca agentes em operação com acesso a sistemas externos, vale conferir antecipadamente os cuidados básicos de segurança. Isso inclui limitar as permissões do agente ao mínimo necessário, manter registros completos de suas ações, ter uma forma de interrompê-lo rapidamente e estabelecer um procedimento claro: quem decide que houve um incidente, em quantas horas e a quem deve comunicá-lo. O caso da OpenAI mostra que um intervalo de várias semanas entre detectar e notificar já é considerado um problema.

Limitações

Por enquanto, são recomendações, não leis. O texto diz que o governo “avaliará” a notificação obrigatória e o novo crime, sem se comprometer com regras ou prazos específicos. O relatório da revisão permanece confidencial, por isso os detalhes técnicos da invasão são desconhecidos. Albanese não respondeu diretamente se a OpenAI teria descumprido as novas regras caso elas estivessem em vigor em junho. Assim, ainda não está claro onde exatamente ficará o limite das “medidas razoáveis”.

Ainda assim, a direção é evidente. Um país já introduziu prazos obrigatórios de notificação e responsabilidade criminal pessoal por incidentes com agentes, e os demais reguladores provavelmente observarão essa experiência. As equipes que desenvolvem agentes devem preparar seus processos de resposta antes que a lei os exija.