Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarRest of World→ original

IA médica de Gana, sem proteções, projetou 1.020 proteínas e 5.000 moléculas tóxicas

O laboratório MinoHealth, de Acra, desativou em 2024 as proteções de seu modelo médico Moremi Bio e pediu que ele criasse venenos em vez de medicamentos. O modelo gerou 1 020 proteínas e 5 000 moléculas pequenas (compostos químicos de baixo peso molecular), e o software avaliador considerou todas provavelmente tóxicas. Nada foi sintetizado, mas resta saber se uma empresa que imprime DNA barraria um pedido desses. Conclusão: é preciso testar as proteções dos modelos biológicos contra jailbreak antes do lançamento.

Processado por IA de Rest of World; editado por Hamidun News
IA médica de Gana, sem proteções, projetou 1.020 proteínas e 5.000 moléculas tóxicas
Fonte: Rest of World. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalRest of World ↗
Editor-chefe
Dado-chave #1Parte dos projetos lembrava a ricina, mas o laboratório não os produziu
Dado-chave #2As proteções do modelo foram removidas em apenas alguns dias
Dado-chave #3Os chefes da OpenAI, da Anthropic e da DeepMind pedem que os EUA tornem obrigatória a checagem de pedidos de DNA

Imagine um assistente médico de IA capaz de inventar novos medicamentos. Agora imagine que alguém remove as restrições dele e pede o contrário: inventar venenos. Foi exatamente isso que, em 2024, por curiosidade, um pequeno laboratório fez: o MinoHealth AI Labs, de Acra, capital de Gana.

Seu modelo de linguagem Moremi Bio, treinado em biologia e descoberta de fármacos, gerou, depois de ter as proteções desativadas, descrições de 1 020 proteínas e 5 000 moléculas pequenas. Proteínas são "máquinas biológicas" grandes, como enzimas ou toxinas; moléculas pequenas são compostos químicos de baixo peso molecular, dos quais a maioria dos comprimidos é feita. O laboratório não produziu nada disso, mas o programa que avalia a toxicidade de uma substância considerou todas as variantes provavelmente tóxicas.

Algumas lembravam a ricina, um veneno natural letal.

O que o experimento mostrou, exatamente

O fundador do laboratório, Darlington Akogo, admite que a equipe ficou chocada. Cientistas de uma farmacêutica americana já tinham feito um experimento parecido, mas com um programa generativo restrito, que sugeria variantes de armas químicas. A novidade do estudo ganês está em outro ponto: eles usaram um LLM de uso geral, ou seja, o mesmo tipo de modelo de linguagem dos chatbots, só que treinado em biologia. Segundo Akogo, até onde sua equipe sabe, ninguém havia demonstrado antes que modelos de linguagem são capazes de projetar armas biológicas. Ele conta que contornar as proteções levou alguns dias.

O trabalho foi publicado no servidor de preprints arXiv e chegou a ser discutido até na Interpol. Adam Abdullahi, da Iniciativa Internacional de Biossegurança, vê no caso um exemplo da contribuição de instituições africanas para a gestão de riscos da IA. Ao mesmo tempo, ele observa que o modelo nem deveria ter chegado a esse resultado, já que é justamente para isso que servem as restrições de segurança.

Quebrar proteções virou rotina

Desde 2024, os modelos ficaram mais poderosos e a barreira de entrada, mais baixa. Ayantola Alayande, pesquisador do Centro Global de Governança de IA, diz que hoje não surpreenderia se usuários comuns recebessem respostas desse tipo de chatbots. Peter Garraghan, fundador da Mindgard, acrescenta que o jailbreak (contornar as proibições embutidas com consultas formuladas de forma engenhosa) não exige habilidades técnicas, só persistência. Segundo ele, foi possível driblar as proteções do Kimi, do Grok, do Claude e do ChatGPT. As empresas não responderam aos pedidos dos jornalistas. O AI Security Institute, do Reino Unido, ressalta que mesmo medidas reforçadas contra consultas biológicas não oferecem garantia.

Em setembro, a Anthropic relatou cinco casos em que usuários tentaram usar seus modelos para apoiar o desenvolvimento de armas biológicas. Ken McCallum, chefe da contrainteligência britânica MI5, classificou o potencial da IA de mudar o jogo das armas biológicas como o risco de uso indevido mais relevante.

O elo fraco: o pedido de DNA

O projeto de um veneno ainda não é um veneno. Para obter a molécula de verdade, o agressor precisa enviar a sequência a uma empresa que imprime DNA sob encomenda. Parte dessas empresas confere os pedidos em busca de sequências perigosas, mas Akogo acredita que a IA pode ajudar a enganar essa checagem. Em junho, os dirigentes da OpenAI, da Anthropic e do Google DeepMind aderiram a um apelo aos legisladores americanos para tornar essas verificações obrigatórias. O Consórcio Internacional de Síntese de Genes, associação voluntária de fornecedores, também apoia essas leis e trabalha com desenvolvedores de modelos para reconhecer sequências criadas por IA especificamente para passar na checagem.

Na África, o tema chegou aos governos. Brenda Obuya, do Ministério da Informação e da Economia Digital do Quênia, afirma que os modelos abertos de ponta reduziram a barreira técnica, e que os serviços de inteligência estão criando setores para lidar com ameaças na fronteira entre cibersegurança e biologia.

A MinoHealth não quer assustar ninguém. A equipe tem 20 pessoas, trabalha em um bangalô modesto, obtém receita principalmente com a venda de seu sistema e participa de um consórcio financiado pela União Europeia para anticorpos e diagnóstico de mpox e malária. O Moremi Bio já sugeriu centenas de candidatos a medicamentos contra câncer, tuberculose e dengue. Akogo propõe criar um grupo de trabalho da ONU sobre riscos da IA e endurecer o controle sobre a síntese.

A conclusão prática para quem desenvolve modelos especializados em biologia e medicina: o teste de jailbreak deve fazer parte do lançamento, assim como o teste de segurança em qualquer produto comum. Filtros sozinhos não bastam se podem ser removidos em poucos dias. Ressalva: a toxicidade foi avaliada apenas por software, o laboratório não testou os projetos, e por isso o perigo real de cada variante é desconhecido. Mas a questão do controle dos pedidos de DNA não desaparece por causa disso.

História

Perguntas frequentes sobre a notícia

O que o experimento mostrou, exatamente?

O fundador do laboratório, Darlington Akogo, admite que a equipe ficou chocada. Cientistas de uma farmacêutica americana já tinham feito um experimento parecido, mas com um programa generativo restrito, que sugeria variantes de armas químicas. A novidade do estudo ganês está em outro ponto: eles usaram um LLM de uso geral, ou seja, o mesmo tipo de modelo de linguagem dos chatbots, só que treinado em biologia.

O que se sabe sobre Quebrar proteções virou rotina?

Desde 2024, os modelos ficaram mais poderosos e a barreira de entrada, mais baixa. Ayantola Alayande, pesquisador do Centro Global de Governança de IA, diz que hoje não surpreenderia se usuários comuns recebessem respostas desse tipo de chatbots. Peter Garraghan, fundador da Mindgard, acrescenta que o jailbreak (contornar as proibições embutidas com consultas formuladas de forma engenhosa) não exige habilidades técnicas, só persistência.

O que se sabe sobre O elo fraco: o pedido de DNA?

O projeto de um veneno ainda não é um veneno. Para obter a molécula de verdade, o agressor precisa enviar a sequência a uma empresa que imprime DNA sob encomenda. Parte dessas empresas confere os pedidos em busca de sequências perigosas, mas Akogo acredita que a IA pode ajudar a enganar essa checagem. Em junho, os dirigentes da OpenAI, da Anthropic e do Google DeepMind aderiram a um apelo aos legisladores americanos para tornar essas verificações obrigatórias.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…