Alignment Forum propõe 4 etapas: nova geração de IA só depois de verificar a atual

Apareceu no AI Alignment Forum um post curto, mas revelador, sobre qual deveria ser o padrão mínimo de ritmo do desenvolvimento de IA caso a indústria concorde não com uma pausa total, mas apenas com uma desaceleração. A tese é uma só: o laboratório não tem o direito de treinar a próxima geração de modelos, a seguinte em capacidades, enquanto não resolver todos os problemas relevantes de alinhamento da geração atual. O autor monta o processo em quatro etapas e o apresenta justamente como um mínimo, e não como condição suficiente.

Lógica da proposta

A analogia vem da aviação. Não se deve colocar no ar um avião de Mach 3 enquanto não se entende por que a aeronave cai a Mach 2. Com qualquer outra tecnologia perigosa, ninguém aceitaria "dar de ombros e seguir em frente". Em uma nota de rodapé, o autor faz uma ressalva: é possível que a causa das quedas a Mach 2 deixe de ser um problema a Mach 3, mas partir desse pressuposto seria loucura.

O post destaca ainda que a fórmula serve tanto a otimistas quanto a pessimistas em relação ao alinhamento "prosaico", isto é, o aprimoramento dos métodos atuais. Os primeiros esperam que uma desaceleração moderada baste para fechar os problemas a cada geração. Os segundos preveem que a exigência levará a uma pausa prolongada e dará tempo para buscar abordagens fundamentalmente novas.

As quatro etapas do ciclo

• Auditoria durante o treinamento. Várias organizações independentes de alinhamento verificam e fazem red-teaming do modelo recém-treinado em muitos checkpoints, com acesso total aos dados e com as melhores ferramentas disponíveis. Os problemas são levados a sério mesmo quando não há uma métrica e algo simplesmente parece "qualitativamente errado", e também quando não é possível provar de forma confiável que o modelo tem uma propriedade desejável. Problemas identificados cedo não bloqueiam necessariamente o processo, mas é preciso um argumento de segurança convincente explicando por que as etapas finais do treinamento vão eliminá-los.
• Lançamento limitado. O modelo fica disponível apenas para um grupo de usuários de confiança, com tarefas que não afetam o treinamento nem o monitoramento. As organizações acompanham o surgimento de novos problemas.
• Implantação ampla, interna ou externa. Só é permitida depois de um período significativo de lançamento limitado sem incidentes.
• Próxima geração. O treinamento começa apenas depois de uma operação prolongada sem problemas significativos.

Se um problema sério surgir na segunda ou na terceira etapa, o esquema é rígido: o modelo é retirado, faz-se uma análise de causa-raiz e se investiga por que o problema não foi detectado durante o treinamento. Em seguida, busca-se uma forma de tratar a doença, e não o sintoma, treina-se o próximo modelo da mesma geração e recomeça-se do início.

Um detalhe importante, também em nota de rodapé: "desempenho melhor que o dos modelos anteriores" não é considerado um critério adequado. Se, após o lançamento, um usuário aponta um comportamento estranho, mas preocupante, que não havia sido notado antes, isso é uma falha crítica tanto do modelo quanto do processo.

O que ficou de fora

O próprio autor reconhece que a proposta é heurística, e não um regulamento concreto. Ele cita quatro lacunas óbvias:

• como definir "geração de modelos" dentro de um mesmo laboratório e entre laboratórios diferentes;
• o que fazer se a correção de um problema de alinhamento também aumentar de forma notável as capacidades;
• como formalizar e fiscalizar o acordo se não for possível se apoiar apenas em métricas definidas previamente;
• onde fica o limite de gravidade a partir do qual o modelo é interrompido, considerando que o laboratório terá interesse em inflar esse limite.

Esses são os principais pontos de falha. Enquanto não houver uma definição comum de geração, qualquer modelo pode ser chamado de "versão intermediária". E quando o próprio laboratório define o limite de gravidade, o processo vira autocertificação.

Conclusão prática

A proposta não tem força jurídica e, por enquanto, continua sendo um post em uma plataforma especializada. Mas ela é útil como roteiro de perguntas que vale fazer aos laboratórios. Vocês têm auditores externos com acesso aos dados de treinamento? Quanto dura o lançamento limitado e o que conta como incidente? O que exatamente acontece com o cronograma de lançamentos se um problema for encontrado após o lançamento? Reguladores e clientes corporativos podem incluir essas perguntas nos requisitos para fornecedores já agora, sem esperar por um acordo em toda a indústria. Para os próprios laboratórios, é uma referência pela qual um observador externo vai avaliar o quão a sério eles levam suas declarações sobre segurança.