Bengio: AI hiperinteligente pode ameaçar a humanidade em uma década

Yoshua Bengio, laureado com o Prêmio Turing e um dos criadores do aprendizado profundo, alertou novamente sobre risco existencial. Máquinas hiperinteligentes poderiam representar uma ameaça à humanidade na próxima década.

Quem é Bengio e por que sua voz é importante

Yoshua Bengio é laureado do prestigioso Prêmio Turing, frequentemente chamado de "Prêmio Nobel da ciência da computação". Junto com Yann LeCun e Yoshua Hinton, ele esteve na origem do aprendizado profundo — uma abordagem que levou a uma revolução na IA e tornou possível a existência de modernos grandes modelos de linguagem. Durante a maior parte de sua carreira, Bengio foi otimista em relação à IA. No entanto, em 2023 ele radicalmente revisou sua posição, afirmando que não acredita mais que os riscos da IA são exageros. Desde então, ele tem participado ativamente de debates sobre perigos existenciais e segurança do desenvolvimento da IA.

A essência do aviso sobre sistemas hiperinteligentes

Bengio está preocupado com os chamados sistemas hiperinteligentes — IA que supera os humanos não em um único domínio estreito, mas em todos os aspectos intelectuais simultaneamente. Segundo sua avaliação, tais sistemas podem ser desenvolvidos durante a década atual, e em certas condições representariam uma ameaça existencial à humanidade. O problema principal, enfatiza Bengio, não reside em intenções malévolas dos criadores, mas na dificuldade fundamental de gerenciar um sistema poderoso que não compreende completamente (ou não segue completamente) as intenções de longo prazo da humanidade. Um sistema pode se otimizar de uma maneira que parece lógica para ele, mas que não corresponde completamente aos nossos valores.

Sinais alarmantes que vemos hoje

O desenvolvimento já está acontecendo rapidamente:

• Progresso exponencial no dimensionamento de redes neurais — a cada ano os modelos se tornam mais poderosos
• Melhoria nas capacidades de modelos modernos para planejamento e ação autônoma
• Redução acentuada nos custos de energia para treinar grandes modelos
• Concentração de poder computacional nas mãos de algumas poucas empresas líderes
• Surgimento de agentes que podem executar tarefas multietapas com intervenção humana mínima

Bengio acredita que essas tendências indicam que estamos mais próximos de um ponto crítico do que muitos percebem.

O que precisa ser feito agora

Na visão de Bengio, o foco da pesquisa deve ser reorientado de alcançar desempenho máximo para alcançar segurança máxima. Isto significa:

• Investimento em pesquisa fundamental sobre interpretabilidade da IA
• Desenvolvimento de métodos para controle confiável sobre sistemas complexos
• Criação de mecanismos que garantam o alinhamento da IA com os valores humanos
• Cooperação internacional em base voluntária, e depois possivelmente em nível regulatório

O que isto significa para nós

A voz de Bengio é uma das mais autorizadas no debate sobre riscos existenciais da IA. Sua posição nos lembra que liberar o potencial da IA sem preparação adequada para seus riscos pode ser um erro irreversível. A questão não é se conseguiremos criar IA hiperinteligente. A questão é se estaremos preparados para isso.