Scott Wiener chega ao Congresso após dois projetos de lei sobre segurança da IA

Se o seu produto permite que uma IA escreva código, execute ferramentas ou trabalhe com dados corporativos, a segurança logo se torna uma questão concreta: quem testou o sistema e como interromper seu funcionamento em caso de falha? Scott Wiener quer que os desenvolvedores de modelos de fronteira respondam a essas perguntas dentro de um conjunto de regras obrigatórias. Após vencer a eleição para o Congresso, ele terá uma plataforma para promover essa agenda na esfera federal.

Segundo uma reportagem da MIT Technology Review, Wiener ocupará a cadeira de São Francisco deixada por Nancy Pelosi. Sua trajetória importa para a indústria: ele já promoveu dois projetos de lei sobre segurança da IA na Califórnia. Agora, vale acompanhar quais dessas abordagens aparecerão nas propostas federais e quem exatamente será afetado.

O que Wiener quer tornar obrigatório

O primeiro de seus projetos mais conhecidos, o SB 1047, foi vetado pelo governador da Califórnia, Gavin Newsom, em 2024. O SB 53, menos rigoroso, recebeu a assinatura do governador. Portanto, seria prematuro afirmar que Wiener simplesmente estenderá a todo o país um regime californiano já estabelecido: mesmo dentro do estado, a abordagem original precisou mudar.

Em uma entrevista, Wiener defendeu a criação de um órgão regulador federal forte, testes e auditorias obrigatórios, proteção a denunciantes e a exigência de um mecanismo de desligamento de emergência. Ele também quer usar a fiscalização do Congresso para cobrar respostas dos laboratórios de IA. São diretrizes para o trabalho futuro, e não uma descrição de exigências federais já aprovadas.

Um exemplo claro é o de um agente autorizado a alterar código e executar tarefas na infraestrutura de uma empresa. Os testes internos devem mostrar o que acontece diante de um comando incorreto, quais ações o agente pode realizar e quem consegue interromper a execução. Uma auditoria independente acrescenta outra pergunta: uma parte externa consegue verificar essas conclusões? Os procedimentos específicos dependerão do texto das futuras leis; este exemplo ilustra o problema de engenharia levantado por essa agenda.

O autoaperfeiçoamento dos modelos exige precisão nas palavras

Wiener justifica a urgência pelo risco de perder o controle da IA. O ponto de partida foi um relatório da METR que, segundo o relato da publicação, muitos interpretaram como evidência de autoaperfeiçoamento recursivo na Anthropic.

Um exemplo simples: um modelo ajuda pesquisadores a escrever código para treinar o próximo modelo. Se essa ajuda acelera significativamente o desenvolvimento, surge a pergunta sobre quanto mais rápido será o próximo ciclo. Mas a participação da IA na pesquisa, por si só, ainda não prova que um sistema esteja aprimorando suas próprias capacidades de forma autônoma e sem controle. O material fornecido não contém resultados técnicos que permitam chegar a essa conclusão.

Para os desenvolvedores, uma pergunta concreta é útil: quais decisões o sistema toma sozinho e em quais etapas uma pessoa revisa seu trabalho? Se um agente sugere uma alteração no código de treinamento, esse é um determinado grau de autonomia. Se ele pode aplicar a alteração, iniciar o treinamento e colocar o resultado em produção por conta própria, a cadeia de controle funciona de outra maneira. O debate político sobre os riscos não elimina a necessidade de analisar essas diferenças.

O que isso muda para as equipes de produto

Por enquanto, o artigo relata as intenções de um político eleito. Não estabelece prazos para a aprovação de regras, limites de tamanho dos modelos ou obrigações para uma startup comum que usa a API de outra empresa. O Congresso tem suas próprias prioridades, e a aprovação de uma lei exigirá muito mais do que o apoio de um único parlamentar.

Outra questão em aberto é a relação entre as autoridades federais e os estados. Wiener se opõe a uma proibição ampla que impeça os estados de criar suas próprias regras sobre IA. Para as empresas, isso significa que a possibilidade de um regime regulatório único continua indefinida. Também não se pode presumir que as exigências para os criadores de modelos de fronteira se aplicarão automaticamente a todos os desenvolvedores de aplicativos.

A orientação prática é organizar as informações sobre o próprio produto: quais modelos ele usa, quais permissões o agente recebe, como a equipe testa cenários perigosos e quem desliga o sistema durante um incidente. Essa documentação já ajuda a discutir segurança com os clientes. Para estimar os futuros custos de conformidade, vale esperar por um texto concreto: as declarações de Wiener ainda não permitem calculá-los.