AI-Driven Reproducibility and Analytical Robustness in Scientific Discovery

Agentes de IA assumem a tarefa de reproduzir estudos científicos — e já apontam falhas em pesquisas médicas

A reprodutibilidade é um dos pilares mais antigos e, ao mesmo tempo, mais frágeis da ciência. Em teoria, qualquer pesquisador deveria conseguir pegar os dados e métodos de um estudo publicado e chegar às mesmas conclusões. Na prática, essa verificação consome tempo, dinheiro e equipes especializadas — motivo pelo qual boa parte dos achados científicos nunca é efetivamente reexaminada. Um novo estudo aponta que agentes de inteligência artificial baseados em grandes modelos de linguagem (LLMs, na sigla em inglês) podem começar a mudar esse cenário, automatizando a reprodução de resultados e a chamada análise de robustez.

O que os pesquisadores fizeram

O trabalho usa como cobaia um dos bancos de dados de saúde mais utilizados do mundo: o SEER (Surveillance, Epidemiology, and End Results), registro norte-americano de câncer que sustenta dezenas de milhares de estudos publicados. A partir dele, os pesquisadores construíram o SEER-Repro, um conjunto de referência com 20 artigos científicos já publicados, acompanhados dos dados e recursos necessários para tentar reproduzir suas conclusões. É, em essência, um "gabarito" para testar se uma IA consegue refazer o caminho de um cientista humano.

Em seguida, a equipe desenvolveu um agente de IA — um sistema autônomo capaz de executar tarefas em sequência — e o colocou para trabalhar. O resultado: o agente reproduziu com sucesso 77,4% das 2.190 afirmações atômicas contidas nos artigos analisados. "Afirmações atômicas" são as menores unidades de resultado verificável de um estudo, como uma taxa de sobrevivência específica ou uma correlação entre duas variáveis. Além de reproduzir os números, o agente gerou bases executáveis que permitem aprofundar a análise depois.

A parte mais delicada: testar se o resultado se sustenta

Reproduzir um número, porém, é só metade do trabalho. A outra metade — e talvez a mais valiosa — é verificar se aquele resultado é robusto, ou seja, se ele continua válido quando decisões metodológicas razoáveis são tomadas de forma diferente. Um pesquisador pode, por exemplo, escolher excluir determinado grupo de pacientes, agrupar faixas de idade de um jeito ou de outro, ou adotar um modelo estatístico alternativo. Cada uma dessas escolhas é defensável isoladamente, mas pode alterar a conclusão final.

Para isso, os pesquisadores criaram um segundo pipeline de análise, também conduzido por IA, que identifica quais decisões analíticas estão por trás de cada achado, propõe alternativas igualmente defensáveis e ref