Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarMIT News→ original

IA leu quase 4000 artigos médicos: o código está aberto em apenas 1 de cada 8 trabalhos

O link "código disponível" em um artigo médico ainda não significa que o código possa ser executado. Uma equipe do MIT e do Dana-Farber usou LLMs para ler quase 4000 trabalhos sobre modelos que estimam o risco de doenças e encontrou código aberto em apenas cerca de 1 a cada 8. Em seguida, os pesquisadores examinaram centenas de repositórios: alguns têm instruções detalhadas, outros quase nada. A conclusão prática é que README, lista de dependências e licença importam tanto quanto o próprio código.

Processado por IA de MIT News; editado por Hamidun News
IA leu quase 4000 artigos médicos: o código está aberto em apenas 1 de cada 8 trabalhos
Fonte: MIT News. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalMIT News ↗
Editor-chefe
Dado-chave #1Parcela de artigos com código por periódico: de 0 a mais de 70%
Dado-chave #2Parte dos autores publicou dados sintéticos em vez de registros de pacientes
Humanos checaram a LLM em 500 artigosela acertou mais nas licenças do que na documentação

Quem já tentou rodar o código de um artigo científico conhece a sensação: o link do GitHub está lá, mas nada funciona. Não há lista de dependências, não fica claro quais dados devem entrar e a licença também não existe. Uma equipe internacional liderada pelo MIT e pelo Dana-Farber Cancer Institute mediu a dimensão desse problema na medicina.

Com o uso de grandes modelos de linguagem (LLMs), ela leu quase 4000 artigos sobre modelos clínicos de prognóstico, ou seja, algoritmos que estimam, por exemplo, o risco de um paciente desenvolver uma doença. Só cerca de 1 em cada 8 trabalhos, ou aproximadamente 12%, informa ter publicado o código. Para o desenvolvedor, a lição é simples: "código publicado" e "código que pode ser executado e verificado" são coisas diferentes, e na medicina decisões de tratamento dependem dessa diferença.

Como as LLMs leram quatro mil artigos

Os autores selecionaram trabalhos em que modelos clínicos de prognóstico foram desenvolvidos, atualizados ou validados. Entraram artigos que citam os checklists TRIPOD ou TRIPOD+AI (listas do que é preciso descrever ao publicar esse tipo de modelo) e que estão disponíveis na coleção aberta PubMed Central. Os resultados do estudo foram publicados na Nature Medicine, e as conclusões servirão de base para o guia TRIPOD-Code, que está em desenvolvimento.

A primeira dificuldade é que os autores mencionam o código de formas muito diferentes. Alguns escrevem na seção de métodos, outros em nota de rodapé, outros no final do artigo. Segundo o primeiro autor, Thomas Sounack, era preciso primeiro entender se o autor chegou a compartilhar o código. Não existe uma tabela pronta para isso, apenas texto disperso. Por isso, as LLMs selecionaram os artigos, localizaram as frases sobre disponibilidade do código e extraíram os links. Depois, um software convencional baixou os repositórios, que foram avaliados por um conjunto de critérios: completude da documentação, descrição dos requisitos de ambiente de software e condições de reutilização.

Os resultados das LLMs foram checados por humanos. Dois pesquisadores revisaram de forma independente 500 artigos e uma amostra separada de repositórios, discutiram as divergências e só então compararam suas avaliações com as automáticas. A concordância foi maior nos critérios objetivos, como a presença de um arquivo de licença. Foi menor nos pontos que exigem julgamento subjetivo, como saber se a documentação é detalhada o suficiente. Os autores ressaltam que erros de classificação são possíveis, por isso vale olhar o panorama geral, e não cada número isolado.

O que eles encontraram

  • O código foi publicado em apenas cerca de 1 a cada 8 estudos.
  • O conteúdo dos repositórios variou muito. Alguns, nas palavras de Sounack, eram "extremamente bem organizados e descritos"; outros quase não traziam explicações.
  • A parcela de artigos com código variou de zero a mais de 70% entre os periódicos. Também houve diferenças perceptíveis entre países.
  • Alguns periódicos com baixa parcela de código publicado tinham, ainda assim, uma política escrita sobre a publicação de código. Ou seja, regras sozinhas não bastam como incentivo.

Entre as boas práticas, os pesquisadores destacaram os conjuntos de dados sintéticos. Quando os registros reais de pacientes não podem ser divulgados, os autores publicaram dados artificiais com a mesma estrutura, para que o código pudesse ser executado e seu funcionamento, compreendido.

Por que isso importa para quem trabalha com código

O conjunto mínimo de que outra pessoa precisa para repetir um resultado é: descrição do que o código faz, instruções de execução, lista de dependências, licença e, se possível, dados de teste. Para Sounack, compartilhar bem o código significa "dar informação suficiente para entender o que o código faz e executá-lo, reproduzindo os resultados do artigo". Se os dados originais são fechados, um conjunto sintético continua sendo um compromisso viável. Ele também serve para projetos corporativos em que os dados de clientes não podem ser repassados a terceirizados.

Há ainda um segundo benefício: o esquema de trabalho com LLMs. O modelo não emitia julgamentos finais; fazia o trabalho preliminar sobre texto disperso, depois humanos verificavam a amostra, e a precisão foi avaliada separadamente para critérios simples e complexos. Essa abordagem pode ser transferida para auditoria de repositórios ou análise de documentos. Critérios simples, como "há licença?", a LLM identifica com confiabilidade, mas avaliações como "a documentação é detalhada o suficiente?" ainda ficam a cargo de uma pessoa.

As limitações também merecem atenção. A amostra incluiu apenas artigos com texto completo aberto no PubMed Central, e as avaliações subjetivas da documentação geram mais divergências.

O próximo passo é o TRIPOD-Code. Por meio de discussão entre especialistas, a equipe define quais elementos do código devem ser obrigatórios. Segundo Tom Pollard, do MIT, o objetivo é dar aos pesquisadores orientações práticas e aos periódicos requisitos mais claros para os autores. O levantamento fornece a base factual para isso.

História

Perguntas frequentes sobre a notícia

Como as LLMs leram quatro mil artigos?

Os autores selecionaram trabalhos em que modelos clínicos de prognóstico foram desenvolvidos, atualizados ou validados. Entraram artigos que citam os checklists TRIPOD ou TRIPOD+AI (listas do que é preciso descrever ao publicar esse tipo de modelo) e que estão disponíveis na coleção aberta PubMed Central. Os resultados do estudo foram publicados na Nature Medicine, e as conclusões servirão de base para o guia TRIPOD-Code, que está em desenvolvimento.

O que eles encontraram?

O código foi publicado em apenas cerca de 1 a cada 8 estudos. O conteúdo dos repositórios variou muito. Alguns, nas palavras de Sounack, eram "extremamente bem organizados e descritos"; outros quase não traziam explicações. A parcela de artigos com código variou de zero a mais de 70% entre os periódicos. Também houve diferenças perceptíveis entre países. Alguns periódicos com baixa parcela de código publicado tinham, ainda assim, uma política escrita sobre a publicação de código.

Por que isso importa para quem trabalha com código?

O conjunto mínimo de que outra pessoa precisa para repetir um resultado é: descrição do que o código faz, instruções de execução, lista de dependências, licença e, se possível, dados de teste. Para Sounack, compartilhar bem o código significa "dar informação suficiente para entender o que o código faz e executá-lo, reproduzindo os resultados do artigo". Se os dados originais são fechados, um conjunto sintético continua sendo um compromisso viável.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…