Claude superou especialistas na revisão por pares: editores escolheram a IA em 87% das avaliações
Antes de publicar uma pesquisa, é preciso que alguém encontre os pontos fracos e explique o que corrigir. Pesquisadores de Harvard atribuíram essa tarefa ao Claude e compararam o resultado com pareceres remunerados de especialistas: três ex-editores de periódicos preferiram a IA em 26 de 30 avaliações. Para equipes de produto, isso é um motivo para testar o modelo como primeiro leitor crítico de relatórios, embora ainda seja necessário verificar se o resultado se aplica a documentos de trabalho.
Processado por IA de TG: @startupoftheday (Стартап дня (Александр Горный)); editado por Hamidun News
Você preparou um relatório sobre um experimento, mas, antes de enviá-lo à direção, quer receber perguntas incômodas: onde a conclusão vai além dos dados, que explicação ficou de fora e o que precisa ser conferido novamente. Pesquisadores de Harvard testaram uma tarefa semelhante com manuscritos científicos. O resultado dá motivos para experimentar o Claude em uma primeira análise crítica dos documentos da equipe. Por exemplo, pedir ao modelo que encontre outras explicações para o aumento da conversão antes de declarar uma nova interface vencedora.
O que foi comparado em Harvard
Gary King e Stephen Worthington utilizaram 124 manuscritos e 134 pareceres de especialistas do serviço rapidPeer. O serviço oferece uma análise preliminar antes da submissão de um artigo a um periódico. Os especialistas foram remunerados; 88% dos 74 autores consultados avaliaram muito bem os comentários recebidos. O Claude Opus 4.8 produziu pareceres alternativos com base nos manuscritos e nas instruções, tanto com busca na web quanto sem ferramentas externas.
Três ex-editores de periódicos avaliaram às cegas os mesmos dez pares de pareceres. Escolheram o Claude em 26 de 30 avaliações — aproximadamente 87%. Os editores não examinaram os manuscritos. Em uma avaliação separada, um juiz GPT-5.5 preferiu a IA em todos os 132 pares com um vencedor definido na versão com busca; sem busca, a vantagem também se manteve. Os autores não mediram a melhora dos artigos após os comentários. O trabalho foi publicado como documento de trabalho no site de Harvard.
O denominador é especialmente importante aqui: as trinta avaliações dos editores se referem a dez pares examinados por três pessoas. Portanto, transformar esse resultado na promessa de que “a IA é melhor que qualquer especialista em 87% das tarefas” seria extrapolar demais. Trata-se do resultado de uma comparação específica de pareceres.
Como aplicar a ideia a um relatório de produto
Imagine um exemplo hipotético. A equipe altera a tela de cadastro e escreve: “A conversão aumentou 12%; vamos liberar para todos”. O gerente de produto envia ao modelo a descrição do experimento, a tabela de resultados e os critérios de decisão. O pedido é listar os pontos fracos da conclusão, indicar os trechos do documento que sustentam as observações e sugerir verificações.
Uma resposta útil deve fazer perguntas concretas. Os usuários foram distribuídos aleatoriamente? Os grupos foram observados pelo mesmo período? O aumento de 12% é relativo ou se refere a pontos percentuais? A nova versão recebeu mais usuários de outro canal de publicidade? Esse é um exemplo da análise desejada, não um episódio do experimento de Harvard.
Em seguida, um analista verifica os comentários. Se a distribuição foi aleatória e isso está registrado claramente no apêndice, a crítica do modelo se revela um erro. Se a composição do tráfego realmente era diferente, a equipe ganha um motivo para rever a conclusão antes do lançamento. O valor desse tipo de assistente pode ser medido pelos problemas encontrados e pelo tempo gasto para verificá-los.
Um desenvolvedor pode fazer uma análise semelhante de uma proposta de arquitetura: anexar os requisitos, as restrições e o diagrama e pedir que o modelo encontre cenários de falha. Um fundador pode revisar um memorando sobre a economia do produto em busca de premissas ocultas. Cada aplicação desse tipo exige uma avaliação própria: a comparação de Harvard, por si só, não diz nada sobre a qualidade da análise da sua arquitetura ou do seu modelo financeiro.
O que verificar antes da adoção
Um bom ponto de partida são alguns projetos concluídos nos quais os problemas que passaram despercebidos já são conhecidos. Prepare os documentos na forma em que a equipe os viu antes da decisão e obtenha uma análise do modelo. Peça aos colegas que avaliem os comentários sem saber quem os escreveu. Contabilize separadamente os achados confirmados, as críticas infundadas e o tempo gasto na verificação. Um parecer bem escrito pode facilmente receber uma boa avaliação; um erro encontrado oferece um critério mais concreto.
Para o trabalho diário, é útil adotar um formato simples de resposta: problema, localização no documento, possível consequência e forma de verificação. Isso permite passar rapidamente da leitura à ação. Se o modelo escrever “a metodologia não é suficientemente convincente”, peça que identifique uma premissa específica e explique qual resultado exigiria mudar a conclusão.
O resultado de Harvard merece atenção justamente como motivo para realizar esse tipo de experimento na sua equipe. Uma primeira análise acessível pode ajudar a identificar um ponto fraco mais cedo. A decisão de adotar a ferramenta deve vir depois de testes com os próprios documentos: quantos comentários úteis você recebeu e quanto tempo gastou examinando os demais.
- 12 de nov. de 2026Jensen Huang deixa o cargo de CEO da Nvidia: empresa perde US$ 1,4 trilhão em duas semanas
- 12 de nov. de 2026Claude in Chrome exige autorização para cada clique em sites da categoria 3
- 12 de nov. de 2026AWS Quick ganha seis agentes para product managers: das reclamações de clientes à especificação
- 12 de nov. de 2026Anthropic fecha o Claude para empresas russas a partir de 12 de novembro, mesmo com entidade jurídica no exterior
Perguntas frequentes sobre a notícia
O que foi comparado em Harvard?
Gary King e Stephen Worthington utilizaram 124 manuscritos e 134 pareceres de especialistas do serviço rapidPeer. O serviço oferece uma análise preliminar antes da submissão de um artigo a um periódico. Os especialistas foram remunerados; 88% dos 74 autores consultados avaliaram muito bem os comentários recebidos. O Claude Opus 4.8 produziu pareceres alternativos com base nos manuscritos e nas instruções, tanto com busca na web quanto sem ferramentas externas.
Como aplicar a ideia a um relatório de produto?
Imagine um exemplo hipotético. A equipe altera a tela de cadastro e escreve: “A conversão aumentou 12%; vamos liberar para todos”. O gerente de produto envia ao modelo a descrição do experimento, a tabela de resultados e os critérios de decisão. O pedido é listar os pontos fracos da conclusão, indicar os trechos do documento que sustentam as observações e sugerir verificações. Uma resposta útil deve fazer perguntas concretas. Os usuários foram distribuídos aleatoriamente?
O que verificar antes da adoção?
Um bom ponto de partida são alguns projetos concluídos nos quais os problemas que passaram despercebidos já são conhecidos. Prepare os documentos na forma em que a equipe os viu antes da decisão e obtenha uma análise do modelo. Peça aos colegas que avaliem os comentários sem saber quem os escreveu. Contabilize separadamente os achados confirmados, as críticas infundadas e o tempo gasto na verificação.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.