Habr AI→ original

Constituição Anthropic: Claude agora segue as regras (e isso importa)

Imagine que você está criando algo potencialmente mais inteligente do que você e tentando explicar a ele o que é "bom" e o que é "ruim". Isso não é um…

Processado por IA de Habr AI; editado por Hamidun News
Constituição Anthropic: Claude agora segue as regras (e isso importa)
Fonte: Habr AI. Colagem: Hamidun News.
◐ Ouvir artigo

Imagine que você está criando algo potencialmente mais inteligente do que você e tentando explicar a ele o que é "bom" e o que é "ruim". Isso não é um cenário de um blockbuster de Hollywood, mas a realidade cotidiana da Anthropic. Enquanto a indústria debate quantas GPUs você precisa para ser feliz, os criadores do Claude decidiram seguir um caminho diferente e escrever uma verdadeira Constituição para sua rede neural. Isso não é apenas uma lista de palavras proibidas ou filtros rígidos na entrada. É uma tentativa de incorporar no código algo como uma consciência que deve funcionar até mesmo quando os desenvolvedores não estão olhando.

Desde o início, a Anthropic se posicionou como um "laboratório de segurança" fundado por ex-funcionários da OpenAI que discordavam de Sam Altman sobre questões de comercialização e ética. Desde então, a empresa de Dario Amodei tem construído metodicamente uma imagem como o jogador mais responsável do mercado. Publicar o texto da Constituição não é apenas um gesto de boa vontade—é um movimento estratégico no grande jogo pela influência sobre governos mundiais. Quando reguladores em Washington ou Bruxelas perguntam como controlaremos a futura superinteligência, a Anthropic já tem uma resposta pronta na forma de um documento. Eles não estão apenas treinando um modelo; estão tentando fazer um acordo com ele, criando marcos claros para coexistência.

A abordagem se baseia na tecnologia de IA Constitucional. Diferentemente do método familiar de aprendizado por reforço baseado em feedback humano (RLHF), onde pessoas reais passam horas rotulando respostas de rede neural, a Anthropic usa o próprio modelo para auto-edição. O processo parece quase filosófico: os modelos recebem uma lista de princípios—desde a Declaração Universal dos Direitos Humanos da ONU até as regras de proteção de dados da Apple—e são pedidos a criticar seus próprios rascunhos pela conformidade com essas normas.

Como resultado, Claude aprende não apenas a imitar preferências humanas, mas a seguir a lógica dos valores incorporados nele. Isso poupa a empresa da necessidade de manter um exército de moderadores mal pagos em países em desenvolvimento, o que é em si um movimento ético forte.

Por que a indústria precisa disso? Primeiro, é escalável. Os recursos humanos são limitados, mas uma rede neural pode analisar seus próprios erros infinitamente. Segundo, torna o comportamento do modelo mais previsível e transparente. Se o Claude se recusa a responder uma pergunta, ele faz isso não por capricho do algoritmo, mas porque um ponto específico da Constituição o proíbe de violar privacidade ou encorajar violência. Isso cria uma base de confiança que é crítica para o setor corporativo. Os negócios não precisam de uma IA que possa de repente dizer algo não-político ou perigoso. Eles precisam de uma ferramenta com limites claramente definidos de responsabilidade.

No entanto, por trás das belas palavras sobre segurança esconde-se uma luta feroz pela liderança. Dario Amodei em seus ensaios recentes sugere diretamente que estamos em um ponto crítico no desenvolvimento da civilização, que ele chama de "período adolescente da tecnologia". A Anthropic está tentando tirar da OpenAI o papel de centro intelectual principal que estabelece as regras do jogo. Se a OpenAI é uma startup agressiva que quer dar às pessoas uma ferramenta para tudo, então a Anthropic é uma espécie de "adulto na sala" insistindo que poder sem controle é sem sentido e perigoso.

Curiosamente, a Constituição está sendo continuamente refinada. É um documento vivo que reflete os medos e esperanças atuais da sociedade. Inclui disposições sobre a inadmissibilidade de discriminação, a importância de fornecer informações objetivas, e até como a IA deve se comportar em situações onde os valores humanos entram em conflito. Isso é reminiscente de uma tentativa de criar um cidadão digital ideal que sempre siga a letra da lei enquanto seja inteligente o suficiente para entender seu espírito. Em última análise, o sucesso da Anthropic dependerá de os usuários acreditarem nessa "moralidade artificial" ou a verem como apenas outra camada de censura corporativa.

A questão-chave: A Constituição da Anthropic se tornará um padrão universal para todos os LLMs, ou veremos uma guerra de "moralidades corporativas" onde cada modelo tem suas próprias ideias sobre bem e mal?

ZK
Hamidun News
Notícias de AI sem ruído. Seleção editorial diária de mais de 400 fontes. Produto de Zhemal Khamidun, Head of AI na Alpina Digital.

Quer parar de ler sobre IA e começar a usar?

AI News é um feed curado de notícias de IA. A Hamidun Academy ensina você a usar IA no trabalho.

O que você acha?
Carregando comentários…