Language Models Learn to Improve Language Models

Modelos de linguagem aprendem a melhorar modelos de linguagem: a nova fronteira da pesquisa automatizada de IA

Uma nova frente de pesquisa está chamando a atenção de laboratórios e investidores em inteligência artificial: a ideia de que grandes modelos de linguagem (os LLMs, como ChatGPT, Gemini e afins) possam ser usados não apenas para responder perguntas ou gerar texto, mas para pesquisar e melhorar outros modelos de linguagem — incluindo a si mesmos. É o caminho para o que especialistas chamam de "autoaperfeiçoamento recursivo": quando a própria IA ajuda a construir a próxima geração de IA.

O conceito é promissor, mas esbarra em dois obstáculos práticos que qualquer gestor de tecnologia precisa entender. O primeiro é o custo computacional. Para ensinar um modelo a propor melhorias realmente eficazes, é preciso testar dezenas de milhares de sugestões — e cada sugestão pode exigir o treinamento completo de um novo modelo. Mesmo num cenário otimista de dez horas de GPU por treinamento, apenas a coleta de resultados consumiria centenas de milhares de horas de processamento. Em termos de negócio: uma conta inviável para a maioria das empresas.

O segundo obstáculo é a confiabilidade do feedback. Quando se usa um "simulador" ou modelo substituto para prever se uma proposta dará certo, esse simulador pode começar a errar conforme o modelo principal passa a privilegiar justamente as propostas que o simulador superestima. É como um time de futebol que só ouve o técnico e o técnico só olha estatísticas antigas: o time se especializa em agradar o número, não em ganhar o jogo.

A proposta LM2LM: aprender com um "modelo-mundo" de pesquisa

Para resolver esses dois problemas, pesquisadores propuseram o LM2LM, um método que treina LLMs por meio de aprendizado por reforço (a técnica de tentativa e erro recompensada) para gerar propostas eficazes de melhoria de modelos. A grande sacada é usar como "professor" um modelo-mundo de pesquisa (RWM, na sigla em inglês): um LLM congelado — ou seja, que não é reajustado — capaz de prever, a partir de registros de experimentos reais fornecidos no contexto, o ganho potencial de cada proposta.

Esse RWM funciona como uma espécie de "consultor de baixo custo", evitando que cada ideia precise ser treinada de verdade antes de ser avaliada. Mas há um cuidado: periodicamente, as propostas mais bem ranqueadas pelo RWM são executadas de fato e seus resultados medidos são inseridos de volta no contexto do modelo-mundo. Isso mantém o feedback ancor