Treinar modelos de IA usando outros modelos de IA virou um objetivo recorrente entre os laboratórios de ponta — e agora um pesquisador do programa de fellows da Anthropic deu o primeiro vislumbre de como isso pode funcionar na prática.
Na sexta-feira (28), a Anthropic publicou um artigo intitulado “Automated Researchers Can Reliably Mitigate Alignment Failures”, detalhando como sistemas de IA conseguem melhorar, de forma confiável, o desempenho de um modelo em um conjunto de benchmarks de alinhamento. Ao receber 10 benchmarks para comportamentos desalinhados específicos, os sistemas automatizados melhoraram o desempenho em todos eles, sem degradar o desempenho geral do modelo.
Como funciona o pesquisador automatizado
Liderado pelo fellow da Anthropic Chen Yueh-Han, o sistema replica boa parte da abordagem tradicional de pesquisa. Cada pesquisador automatizado busca a literatura disponível, propõe um método e treina o modelo usando esse método por 30 minutos, elevando gradualmente a pontuação no benchmark ao longo de várias iterações. Métodos eficazes são preservados e os ineficazes são descartados — o que permite ao sistema operar com rapidez e em larga escala.
“No geral, esses resultados fornecem evidências iniciais de que o pós-treinamento automatizado de alinhamento pode se tornar prático em um futuro próximo”, afirma o artigo.
Superando humanos em seis horas
O artigo não foge da comparação com o equivalente humano. O chamado Automated Alignment Researcher (AAR) supera o que pesquisadores experientes propõem, em média, em seis horas. E há até uma comparação de custo, para quem ainda não estivesse convencido: o AAR custa cerca de US$ 4 por hora em inferência de API, contra os US$ 150 por hora pagos aos pesquisadores humanos.
“O melhor método do AAR supera o que humanos experientes propõem, em média, em seis horas”, diz o artigo. “Direções de pesquisa guiadas por humanos não levam a um desempenho mais forte.”
Um passo rumo à melhoria recursiva
O trabalho é visto como um passo em direção à melhoria recursiva, que muitos consideram o próximo salto significativo no progresso da IA. Se os modelos conseguem melhorar seu próprio treinamento de alinhamento, é plausível que consigam melhorar práticas de treinamento de forma mais ampla — um cenário em que pesquisadores humanos de IA poderiam, eventualmente, se tornar obsoletos.
Limitações honestas
Para ser justo, o artigo também aponta limitações importantes. O sistema automatizado só funciona na medida em que os benchmarks refletem as metas reais de alinhamento — e ainda há trabalho significativo para estabelecer e manter esses benchmarks, além de manter e expandir a literatura da qual os pesquisadores automatizados extraem conhecimento. Os resultados, por enquanto, são evidência inicial, não uma virada de jogo definitiva.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
