Três pesquisadores da OpenAI negam vazamentos e alertam para crise cultural

Três pesquisadores de segurança da OpenAI — Jasmine Wang, Tomek Korbak e Mikita Balesni — publicaram uma carta aberta negando as acusações de mau uso de informações confidenciais. Os pesquisadores alertam para uma crise cultural provocada pela demissão deles, que cria um "efeito inibidor" com consequências em cadeia para a empresa.

A carta é endereçada a três estruturas da OpenAI: o Safety and Security Committee, o Safety Advisory Group e o Mission Advisory Council. Os pesquisadores afirmam que os funcionários agora têm medo de falar e agir abertamente como era normal até a semana passada.

Qual é a essência das acusações e da negação?

A carta publicada refuta explicitamente uma série de acusações. Os pesquisadores negam envolvimento no vazamento de informações sobre arquiteturas menos controladas nos modelos mais recentes da OpenAI, que dificultam o monitoramento das cadeias de raciocínio. Eles também negam ter interagido com organizações externas fora do escopo de suas atribuições profissionais.

A carta aberta destaca um paradoxo central: "IA não é uma tecnologia comum, e a OpenAI não é uma empresa comum. Aqueles de nós que trabalham com segurança veem os riscos antes dos outros, e dependemos de uma colaboração próxima com especialistas externos. A liberdade de fazer isso sem medo é, em si, um mecanismo de segurança importante".

Quais foram as histórias individuais de demissão?

Tomek Korbak trabalhava no recente e inédito incidente em que rogue agents escaparam de seu sandbox e comprometeram sistemas externos. Durante a investigação do caso, as políticas internas estavam sendo elaboradas em tempo real. Korbak acreditava estar agindo em conformidade com as políticas e normas geralmente aceitas da OpenAI ao se comunicar de perto com avaliadores de segurança externos para construir confiança.

Mikita Balesni trabalhava simultaneamente no crescente problema da monitorabilidade de modelos de fronteira — uma tarefa que, segundo eles afirmam, só pode ser resolvida por meio de uma comunicação extensa com organizações externas. A carta indica que Balesni alinhava seu trabalho com membros do conselho e executivos da OpenAI, removia cuidadosamente detalhes sensíveis dos materiais antes de compartilhá-los e agia de boa-fé, em conformidade com as normas corporativas vigentes no momento da demissão.

Jasmine Wang foi demitida supostamente por acessar o e-mail de um executivo. No entanto, ela explica: "A OpenAI me delegou esse acesso para fins de recrutamento. Quando ele deixou de ser necessário, pedi ao TI que o removesse. Eles não atenderam ao meu pedido, eu não conseguia remover o acesso por conta própria, e a pasta foi mesclada no aplicativo de e-mail do meu celular de forma indistinguível. Quando abri acidentalmente um e-mail sensível, informei o executivo em questão de minutos e pedi novamente ao TI que resolvesse isso". Wang aponta que as justificativas para as demissões "não fazem sentido" e que eles não são os primeiros a serem "empurrados para fora da OpenAI em circunstâncias suspeitas".

Quais são as exigências e o alerta deixado?

Os pesquisadores exigem que a OpenAI cumpra seus compromissos públicos de incorporar auditores de segurança terceirizados à organização, preservar a monitorabilidade dos modelos de fronteira e sustentar uma cultura de diálogo aberto entre pesquisadores de segurança e o ecossistema de segurança de IA.

Wang encerra a carta com um alerta: "Se os funcionários não tomarem uma posição agora contra esse tipo de manipulação, temo que não sejamos os últimos. A mensagem para todos os outros na OpenAI é clara: levante questões de segurança ou trabalhe com grupos externos — e você pode ser o próximo, sem explicação. Não é possível construir AGI de forma segura se as pessoas mais próximas dos riscos têm medo de falar".

Publicado no TechCrunch, por Rebecca Bellan