Bengio: IA hiperinteligente pode ameaçar a humanidade em uma década

Yoshua Bengio, vencedor do Prêmio Turing e um dos criadores do aprendizado profundo, voltou a alertar para o risco existencial. Máquinas hiperinteligentes podem representar uma ameaça à humanidade na próxima década.

Quem é Bengio e por que sua voz importa

Yoshua Bengio é vencedor do prestigioso Prêmio Turing, frequentemente chamado de "Nobel da computação". Ao lado de Yann LeCun e Geoffrey Hinton, ele esteve na origem do aprendizado profundo, abordagem que levou à revolução da IA e tornou possíveis os grandes modelos de linguagem atuais.

Por boa parte da carreira, Bengio foi otimista em relação à IA. Em 2023, porém, ele mudou radicalmente de posição e disse que não acreditava mais que os riscos da IA fossem exagero. Desde então, participa ativamente dos debates sobre perigos existenciais e segurança no desenvolvimento da IA.

O cerne do alerta sobre sistemas hiperinteligentes

Bengio se preocupa com os chamados sistemas hiperinteligentes: IAs que superam o ser humano não em uma área restrita, mas em todos os aspectos intelectuais ao mesmo tempo. Pelas estimativas dele, esses sistemas podem ser desenvolvidos ainda nesta década e, sob certas condições, representariam uma ameaça existencial à humanidade.

O problema central, ressalta Bengio, não são más intenções dos criadores, mas a dificuldade fundamental de controlar um sistema poderoso que não compreende totalmente (ou não segue totalmente) as intenções de longo prazo da humanidade. Um sistema pode se otimizar de um jeito que lhe parece lógico, mas que não tem nada a ver com nossos valores.

Sinais de alerta que vemos hoje

O desenvolvimento já avança rápido:

• Progresso exponencial na escala das redes neurais: a cada ano os modelos ficam mais poderosos
• Melhora na capacidade dos modelos atuais de planejar e agir de forma autônoma
• Queda acentuada no custo de energia para treinar grandes modelos
• Concentração do poder computacional em poucas empresas líderes
• Surgimento de agentes que podem executar tarefas de várias etapas com intervenção humana mínima

Bengio acredita que essas tendências indicam que estamos mais perto de um ponto crítico do que muitos percebem.

O que fazer agora

Segundo Bengio, é preciso redirecionar o foco das pesquisas: sair da busca por desempenho máximo e passar à busca por segurança máxima. Isso significa:

• Investir em pesquisa fundamental sobre interpretabilidade da IA
• Desenvolver métodos de controle confiável sobre sistemas complexos
• Criar mecanismos que garantam o alinhamento da IA aos valores humanos
• Cooperação internacional de forma voluntária e, depois, possivelmente em nível de regulação

O que isso significa para nós

A voz de Bengio é uma das mais respeitadas no debate sobre riscos existenciais da IA. A posição dele nos lembra que liberar o potencial da IA sem preparo adequado para seus riscos pode se revelar um erro irreversível.

A questão não é se conseguiremos criar uma IA hiperinteligente. A questão é se estaremos prontos para isso.