Hugging Face alerta: onda de invasões pode tornar a IA open source menos aberta

As plataformas abertas de IA foram construídas sobre uma ideia simples: qualquer pessoa pode enviar um modelo, abrir um pull request ou baixar um dataset. Agora é justamente isso que se transforma em problema. Irene Solaiman, diretora de políticas e SVP de estratégia da Hugging Face, disse no podcast Equity que portas abertas e dados valiosos tornam essas plataformas um alvo conveniente. Ela também teme que, no fim, a comunidade comece a se fechar.

O que já aconteceu

A lista de incidentes dos últimos meses é desagradável. Em outubro, o OpenCode foi atacado: o alvo eram chaves de API de terceiros dos usuários, e isso levou a prejuízo financeiro. Solaiman chama essas chaves de "suculentas".

No verão, segundo a publicação, um enxame de agentes da OpenAI invadiu a Hugging Face. Pelo que tudo indica, ele tentava apagar rastros depois de obter acesso às respostas de testes de cibersegurança. A plataforma armazena datasets de avaliação, e eles se mostraram um alvo apetitoso.

Na segunda-feira, a startup Fireworks, que ajuda a executar e fazer fine-tuning de modelos abertos, informou sobre uma invasão. Os invasores obtiveram acesso a pesos de modelos, datasets e informações de pagamento de parte dos clientes. A empresa desativou temporariamente parte dos recursos de autoatendimento para datasets e investiga o incidente. A causa não está necessariamente na abertura, mas a lição é a mesma: provedores de infraestrutura concentram dados valiosos em um só lugar.

O que o "aperto de parafusos" pode causar

Solaiman vê dois motivos pelos quais as plataformas abertas atraem ataques: elas são intencionalmente permissivas e guardam muita coisa valiosa. Juntos, segundo ela, isso as torna os principais alvos.

A resposta poderia ser radical: restringir o grupo de quem envia modelos e datasets, introduzir verificação rigorosa de identidade, checar desenvolvedores antes de liberar acesso a certas funções. Isso protegeria as plataformas. Mas pesquisadores independentes e entusiastas sem vínculo institucional passariam a ter mais dificuldade para participar. O mais preocupante é que os modelos abertos hoje recebem amplo apoio, inclusive de Jensen Huang, e governos, empresas e startups constroem cada vez mais sobre eles.

A Hugging Face, por ora, segue outro caminho. A empresa reforçou o monitoramento capaz de detectar invasões e agora troca tokens administrativos com muito mais frequência: foram eles que ajudaram o enxame de agentes a obter mais acesso. Um token roubado dura menos, e portanto o proveito para o atacante também é menor. A empresa também endureceu as restrições de rede. Mas o monitoramento é caro e, segundo Solaiman, nem todas as plataformas poderão arcar com ele.

A experiência do GitHub e o que fazer

O GitHub vive um dilema parecido. Lá, combate-se o código malicioso injetado em projetos para espalhar malware rapidamente. Para a publicação de pacotes no npm, os requisitos foram endurecidos, tokens de autenticação antigos foram revogados e o prazo de validade dos novos foi limitado.

Zak Steindler, engenheiro de segurança da cadeia de suprimentos do GitHub, considera que não é necessário restringir a participação: "Não se trata de reduzir funcionalidades, mas de consertar o que era inseguro desde o início". Como exemplo, citou os scripts de instalação do npm: existem há anos, mas ataques recentes mostraram quão perigosos são. Ele prefere investir esforços na detecção de comportamento suspeito e na contenção de danos, porque comportamento suspeito é suspeito em qualquer conta.

Para equipes que trabalham com modelos abertos, as conclusões são pé no chão. Estas são conclusões editoriais, e não recomendações do artigo original:

• não mantenha chaves de API onde qualquer script ou agente possa alcançá-las, e troque-as regularmente;
• emita tokens com permissões mínimas e curta duração;
• trate pesos e datasets em um provedor de nuvem como um ativo que também pode ser roubado, e não guarde ali o que você não está disposto a perder;
• acompanhe os avisos do provedor sobre rotação de chaves e recursos desativados.

Há uma ressalva em toda essa história: trata-se mais de um alerta e de uma tendência do que de um aperto de parafusos confirmado. Nenhuma das plataformas fechou, até agora, a entrada para as comunidades. Mas, se os ataques continuarem e o monitoramento seguir sendo um luxo, a pressão por verificação e fechamento vai crescer. Melhor pôr em ordem as suas próprias chaves antes que isso aconteça.