Modelos de IA abertos: democratização versus ciberameaças

O debate sobre modelos abertos se intensifica

A Anthropic divulgou um relatório classificando o GLM-5.3 (modelo da empresa chinesa Z.ai, lançado em agosto) como uma séria ameaça cibernética. A principal preocupação: o modelo é distribuído livremente, e qualquer pessoa pode baixá-lo e modificá-lo. É mais um capítulo no longo debate sobre se modelos de IA poderosos devem ser abertos ou permanecer sob controle dos grandes laboratórios.

Por trás da discussão há uma aposta comercial considerável. O CEO da Nvidia, Jensen Huang, defende modelos abertos — é interessante para a empresa que as pessoas comprem seu próprio hardware para executá-los. Dario Amodei, da Anthropic, adota uma postura mais cautelosa, já que modelos abertos baratos ameaçam o modelo de negócio da Anthropic. Mas os interesses comerciais encobrem divergências reais sobre como o futuro da IA deveria ser moldado.

Dois lados do debate

David Gray Widder (Universidade do Texas em Austin) observa que o lado que você escolhe depende da sua visão geral sobre segurança em IA. Os defensores da segurança temem que modelos abertos sejam fáceis de usar indevidamente. Os defensores do acesso insistem que uma tecnologia tão poderosa não deveria ser monopólio de poucas empresas.

Um modelo aberto (como o GLM-5.3) consiste em arquivos que você baixa e executa no seu próprio hardware. Um modelo fechado (ChatGPT, Claude) só é acessível por API ou interface web. Hoje, os modelos fechados são mais poderosos: os 8 primeiros lugares do ranking da Artificial Analysis LLM são todos de modelos fechados. Mas os modelos abertos ficam apenas alguns meses atrás em desenvolvimento.

Vantagens dos modelos abertos. Pesquisadores conseguem ver o funcionamento interno de um modelo e testar hipóteses sobre como ele opera. Empresas economizam: modelos abertos são mais baratos que os fechados, segundo um relatório da Mozilla.

A execução local protege dados sensíveis — empresas podem processar informações confidenciais em seu próprio hardware sem entregá-las a terceiros. Elizabeth Seger (Tony Blair Institute for Global Change) vê a principal vantagem no fato de que modelos abertos enfraquecem o monopólio dos grandes laboratórios sobre uma das tecnologias definidoras da época. Hamish Hobbs (Centre for Long-Term Resilience) acrescenta que um mundo em que todos têm acesso a uma IA poderosa e segura é muito menos perigoso do que um mundo em que um único governo controla todos os modelos avançados de hacking e ciberataques.

Mas Paul Azunre (Ghana NLP) alerta para o lado negativo: grandes empresas aproveitam melhorias de projetos abertos e as incorporam em seus próprios produtos sem dar crédito aos desenvolvedores. Mark Zuckerberg já disse abertamente que a capacidade de captar ideias da comunidade e integrá-las à Meta é uma vantagem fundamental dos modelos abertos.

Riscos dos modelos abertos. A Anthropic publicou um relatório sobre invasões realizadas com a ajuda do Claude. Em julho, agentes da OpenAI foram usados para invadir o Hugging Face. Modelos fechados verificam os pedidos recebidos em busca de perigo (hacking, armas biológicas, entre outros) e podem bloquear a conta de um usuário. Mas, uma vez que o modelo é baixado para o próprio computador, não há filtro nem forma de revogar o acesso. Pesquisadores demonstraram que é fácil retreinar um modelo aberto para que ele aceite fazer o que antes recusava. Se um modelo aberto de hacking muito poderoso fosse lançado, um invasor poderia danificar infraestruturas críticas antes que as pessoas tivessem tempo de se defender.

Mas a situação é mais complexa do que parece. Depois do ataque, o Hugging Face analisou o incidente usando um modelo aberto, porque os modelos fechados bloqueavam perguntas sobre a própria invasão. Alguns especialistas traçam um paralelo com o Linux e o software de código aberto: eles são considerados mais seguros graças à transparência e a milhares de desenvolvedores independentes que buscam vulnerabilidades. Modelos abertos também podem ser usados para ciberdefesa — a mesma ferramenta que serve para atacar também serve para proteger. A Anthropic disponibiliza seus modelos para ciberdefesa por meio do Project Glasswing, mas apenas para empresas selecionadas. Os modelos abertos são mais universais nesse sentido.

Ainda assim, a maioria dos especialistas vê os modelos abertos como mais arriscados. Elizabeth Seger observa que o principal perigo está em eventos raros, mas catastróficos. Se um modelo com objetivos próprios começasse a causar dano, a descentralização dificultaria a detecção do problema.

Em busca de um meio-termo

Por muito tempo, o debate foi binário: abertura total ou segurança total. Mas cresce a percepção de que existem opções entre a proibição total dos modelos abertos e sua distribuição irresponsável. Qualquer abordagem exige um equilíbrio entre proteção e democratização. Para decidir com critério se deve apoiar ou restringir a produção de modelos abertos, é preciso entender esses riscos e benefícios em toda a sua profundidade.