Nate Soares explica no podcast da Bloomberg por que não dá para “alinhar” a IA

A Bloomberg publicou uma conversa com Nate Soares, presidente do Machine Intelligence Research Institute (MIRI). Em 2025, ele lançou com Eliezer Yudkowsky o livro «If Anyone Builds It, Everyone Dies». A ideia central está no próprio título: se alguém construir uma IA superinteligente, todos morrerão. O anúncio do podcast diz que, depois do incidente com a Hugging Face, as conversas sobre cenários de fim do mundo deixaram de ser marginais e chegaram ao mainstream. O material não esclarece o que exatamente aconteceu na plataforma, por isso não é possível avaliar aqui a dimensão do incidente.

Uma antiga preocupação em novo contexto

Soares e o MIRI trabalham com segurança de IA muito antes do ChatGPT e dos grandes modelos de linguagem. Na época, a posição deles costumava ser vista como exótica; agora, as notícias obrigam o setor a revisitá-la. O podcast busca explicar por que alguém que se dedica ao assunto há décadas considera o risco não hipotético, mas previsível.

A conversa gira em torno de duas perguntas: por que, na visão de Soares, não é possível «alinhar» uma IA superinteligente (ou seja, garantir de forma confiável que seus objetivos coincidam com os humanos) e como exatamente a tecnologia escapará do controle à medida que suas capacidades crescerem.

Principais teses da conversa

Com base no anúncio e no livro em que ele se apoia, é possível destacar algumas posições:

• Os autores consideram a extinção da humanidade uma consequência inevitável da criação de uma superinteligência, e não um dos desfechos possíveis.
• Alinhar os objetivos de um sistema superinteligente aos humanos é, na avaliação deles, uma tarefa praticamente insolúvel.
• O perigo cresce junto com as capacidades: quanto mais capaz o sistema, menores as chances de pará-lo quando algo dá errado.
• Soares comanda o MIRI, organização que trata do tema desde a era pré-comercial dos grandes modelos.
• Formato: um episódio do Bloomberg Tech com explicação detalhada, e não um comentário breve.

Onde o argumento é vulnerável

Céticos da indústria contestam esses cenários por várias frentes. Eles apontam que a «extinção inevitável» não tem base empírica: nenhum sistema existente demonstrou capacidade de tomar o controle do mundo. Também seguem em disputa tanto o prazo para o surgimento de uma superinteligência quanto a própria possibilidade de criá-la com as arquiteturas atuais. Os defensores de Soares respondem que esperar por provas não faz sentido, porque, depois do primeiro exemplo real, será tarde demais para corrigir qualquer coisa.

O anúncio não traz números concretos, previsões de prazo nem detalhes do mecanismo de «fuga», então a argumentação completa só está disponível no próprio episódio. O texto também não deixa claro como Soares relaciona o caso da Hugging Face com suas conclusões.

O que fazer na prática

Para equipes que desenvolvem produtos com base em modelos, a conclusão mais útil é mais modesta que a apocalíptica. A discussão sobre riscos saiu do nicho acadêmico, e reguladores, clientes e investidores vão perguntar cada vez mais como funcionam o controle de acesso, a avaliação de capacidades perigosas e os procedimentos para interromper sistemas. Quem lança modelos abertos ou os hospeda em plataformas públicas deve definir com antecedência uma política de resposta a incidentes, em vez de escrevê-la depois que o problema acontecer.

Para o leitor que tenta entender o debate, o principal conselho é ouvir os dois lados. Vale conhecer a posição de Soares e Yudkowsky, mesmo sem concordar com ela, porque é justamente ela que define o quadro em que hoje se discutem as propostas mais duras de regulação da IA. A versão completa do episódio está disponível na Bloomberg.