Engenharia de Loops: Como “autoresearch” e “Bilevel Autoresearch” Transformam Agentes de IA em Ciclos Autônomos de Pesquisa em ML
A engenharia de loops substitui o vaivém de prompts por agentes autônomos que planejam, executam e se autocorrigem. Com 'autoresearch' de Karpathy e Bilevel Autoresearch, times de IA já reduzem tempo de treinamento em 11% e otimizam o próprio processo de busca.
Por Redação NoticiaiAtualizado em 12 de julho de 2026, 17:29
A maioria das pessoas ainda usa IA como se fosse uma caixa de busca de 2015: você digita, lê o resultado e digita de novo. Mas um padrão novo está substituindo esse vaivém manual: o loop. Em vez de instruir o modelo passo a passo, você define um objetivo uma única vez e deixa que ele planeje, execute, verifique e repita — de forma autônoma — até atingir a meta.
Este guia explica a engenharia de loops com base em duas referências verificadas: o repositório autoresearch de Andrej Karpathy (lançado em março de 2026, já com quase 90 mil estrelas no GitHub) e o artigo científico Bilevel Autoresearch: Meta-Autoresearching Itself. A estrutura segue a análise de @0xCodila.
O que é engenharia de loops?
A diferença fundamental está entre prompt e loop. Um prompt é uma instrução única — depois dela, você decide o próximo passo. Um loop é uma meta que o modelo persegue até alcançar: ele planeja, age, verifica o próprio resultado e repete. Você define o objetivo uma vez; o loop cuida da iteração.
Mas atenção: um loop só se paga quando o trabalho é mensurável. Se não há como medir o progresso, você não tem um loop — tem um chatbot rodando em círculos.
✅ O que você ganha
Automação real de pesquisa: o agente propõe hipóteses, treina, avalia e decide sozinho o que manter
Escala sobre-humana: enquanto um humano cansa após ~12 experimentos, um loop roda centenas durante a noite
Melhoria comprovada: Karpathy reduziu o tempo de treinamento GPT-2 em 11% com 700 experimentos autônomos
Código aberto e mínimo: apenas 630 linhas de Python, licença MIT, pronto para adaptar
Meta-otimização: o Bilevel Autoresearch coloca um loop externo para melhorar o próprio processo de busca
⚠️ O que você NÃO ganha
Substituto para pensamento humano: o loop transfere o trabalho para design e revisão, não elimina o raciocínio
Solução universal: só funciona se você tiver uma métrica objetiva e automatizável (loss, acurácia, taxa de build passando)
Custo zero: loops consomem créditos de API ou GPU — o custo operacional precisa ser justificado pelo ganho
Os três componentes de todo loop confiável
O que separa um loop real de um chatbot repetitivo? Três peças essenciais:
Verificador (verifier): atribui nota a cada tentativa. Pode ser um teste passando, uma métrica melhorando ou um build compilando. Sem verificador, o agente apenas concorda consigo mesmo indefinidamente.
Estado (state): registra o que foi tentado, o que falhou, o que ainda falta. Um arquivo simples de estado permite retomar de onde parou, em vez de reiniciar do zero.
Condição de parada (stop condition): evita custo descontrolado. O loop para quando a meta é atingida, ou após N tentativas.
O loop de Karpathy: dentro do ‘autoresearch’
Em 7 de março de 2026, Andrej Karpathy lançou o autoresearch, um repositório open-source sob licença MIT com três arquivos principais e cerca de 630 linhas de código. O projeto viralizou em dias e hoje está próximo de 90 mil estrelas no GitHub. Karpathy posteriormente apresentou o padrão como “o Karpathy Loop”.
O design é deliberadamente pequeno, mas rígido. O agente edita apenas train.py — que contém o modelo GPT, otimizadores (Muon e AdamW) e o loop de treinamento. Ele não pode tocar nos utilitários de avaliação em prepare.py. Essa separação impede que o agente torne o teste mais fácil em vez de o modelo melhor. Enquanto isso, um humano escreve program.md com as instruções que o agente deve respeitar.
Cada ciclo executa um experimento: o agente lê o código, propõe uma alteração, treina por cinco minutos e então mantém ou reverte a mudança. A métrica de avaliação é val_bpb (validation bits per byte) — quanto menor, melhor. Esse orçamento produz cerca de 12 experimentos por hora, ou aproximadamente 100 durante a noite.
Os resultados são concretos. Karpathy apontou o loop para seu próprio código de treinamento GPT-2 (nanochat), já otimizado manualmente. Em dois dias, o sistema executou ~700 experimentos e manteve 20 melhorias genuínas. Empilhadas, essas correções reduziram o tempo de treinamento GPT-2 em 11% (de 2,02 para 1,80 horas). Uma das descobertas foi uma implementação de QK-Norm que faltava um multiplicador escalar — um detalhe sutil que deixava a atenção muito difusa entre as cabeças.
Separadamente, Tobi Lütke, CEO da Shopify, rodou o autoresearch durante a noite em um modelo interno e relatou 19% de melhoria após 37 experimentos. A conclusão de Karpathy: se você tem uma métrica objetiva, você é o gargalo.
Prompt vs Loop vs Bilevel Loop
Abordagem
Quem decide o próximo passo
Estado entre execuções
Escala típica
Prompt
Humano
Nenhum
1 interação
Loop
Agente (verificador interno)
Arquivo de estado
Centenas de experimentos
Bilevel Loop
Loop externo + loop interno
Estado + meta-estado
Milhares de experimentos
Comparação entre as três abordagens de interação com IA
Bilevel Autoresearch: um loop em cima do loop
Se o autoresearch é pesquisa, é possível fazer autoresearch do autoresearch? O artigo Bilevel Autoresearch: Meta-Autoresearching Itself responde que sim.
O loop interno reproduz o original de Karpathy: propor, treinar, avaliar, manter ou descartar. O loop externo observa o loop interno, lê seu código e rastros, identifica onde a busca está estagnando, escreve novos mecanismos em Python, injeta-os em tempo de execução e reexecuta o loop interno.
O resultado no benchmark de pré-treinamento GPT de Karpathy foi expressivo: o loop externo reduziu val_bpb5 vezes mais que o loop simples (-0,045 vs -0,009). Ambos os loops usaram o mesmo LLM — o ganho veio da arquitetura, não de um modelo mais inteligente.
Na prática, o design se divide em três níveis: Nível 1 executa o loop base; Nível 1.5 ajusta parâmetros de busca a cada cinco iterações; Nível 2 gera novos mecanismos em sessões de quatro rodadas. Os experimentos usaram uma RTX 5090 32GB com orçamento de 300 segundos por ciclo.
A razão do ganho é reveladora: o loop interno insistia nos mesmos padrões mesmo depois que paravam de funcionar. O loop externo quebrou esses padrões forçando exploração não familiar.
Os cinco blocos de construção para produção
Equipes de engenharia de IA hoje montam loops de produção a partir de cinco peças reutilizáveis:
Automação: dispara o loop por agendamento, evento ou trigger
Skill (conhecimento): armazena conhecimento do projeto em arquivo markdown, lido a cada execução
Subagentes: separam quem escreve de quem revisa — um modelo se avalia generosamente demais
Conectores: permitem que o loop atue em ferramentas reais (issue tracker, Slack, APIs)
Verificador: continua sendo o portão que rejeita trabalho ruim
Ferramentas como Claude Code e OpenAI Codex já incorporam todos os cinco blocos.
Casos de uso além do pré-treinamento
Otimização de hiperparâmetros: o loop busca configurações até o val_loss cair abaixo do threshold
Refatoração de software: modifica código até que testes, tipos e build passem
Produção de conteúdo: reescreve até cada nota de rubrica ultrapassar o mínimo
Pipeline de dados: ajusta transformações até as validações de schema passarem
Segurança de modelos: executa ataques adversariais em loop até encontrar vulnerabilidades
Todos esses casos compartilham o mesmo traço: um gate automático que pode reprovar o trabalho.
Experimente agora: um loop em um único prompt
Você não precisa de Claude Code ou Codex para sentir a mecânica. Cole o prompt abaixo em qualquer modelo capaz (GPT-4, Claude, Gemini) e veja-o se autocorrigir:
Você vai trabalhar em loop até que a tarefa atinja o padrão.
TAREFA:
[descreva exatamente o que você quer produzir]
CRITÉRIOS DE SUCESSO (seja rigoroso):
- [critério 1]
- [critério 2]
- [critério 3]
PROTOCOLO DO LOOP, repita a cada rodada:
1. PLANEJAR - declare o único próximo passo.
2. EXECUTAR - produza ou melhore o trabalho.
3. VERIFICAR - dê nota 1-10 para cada critério. Seja honesto.
4. DECIDIR - se todos os critérios forem 8+, imprima FINAL e pare.
Senão, imprima ITERANDO e corrija o ponto mais fraco primeiro.
REGRAS:
- Nunca declare concluído até que cada critério atinja 8 ou mais.
- Cada passagem deve corrigir a nota mais baixa da última VERIFICAÇÃO.
- Não faça perguntas. Faça uma suposição sensata e continue.
Comece.
O esqueleto em Python abaixo mostra os três componentes — verificador, decisão e duas condições de parada — em ação:
current = baseline
best = evaluate(current) # verificador: val_bpb menor é melhor
for step in range(MAX_STEPS): # parada 1: orçamento de experimentos
candidate = propose_change(current) # agente edita train.py
score = train_and_eval(candidate) # treina 5 min, depois verifica
if score < best: # mantém só melhorias reais
current, best = candidate, score # commit
# senão: descarta, restaura baseline
if best <= TARGET: # parada 2: meta atingida
break
Comparação de custo
Abordagem
Custo por experimento
Experimentos/noite
Custo total estimado
Humano (manual)
~30 min de engenheiro
~12
R$ 200-400/dia (salário)
Loop com API (GPT-4)
~US$ 0,50-2,00
~100
US$ 50-200/noite
Loop local (RTX 5090)
~R$ 2-5 (energia)
~100
R$ 200-500/noite
Comparação de custos entre abordagens de experimentação (julho/2026)
Troubleshooting: erros comuns ao implementar loops
❌ Loop roda indefinidamente sem melhoria → Verificador está fraco ou mal definido. Solução: torne o critério de sucesso binário e não ambíguo (teste passa ou não passa).
❌ Agente edita o avaliador em vez do modelo → Falta separação de responsabilidades. Solução: restrinja o acesso a arquivos — o agente só edita train.py, nunca prepare.py.
❌ Custo de API explode sem resultados → Condição de parada ausente. Solução: defina MAX_STEPS e um orçamento monetário máximo.
❌ Loop fica preso em mínimo local → Falta exploração forçada. Solução: adicione um loop externo (Bilevel) ou mecanismo de perturbação aleatória.
❌ Estado se perde entre execuções → Arquivo de estado não persiste. Solução: salve o estado em disco ou banco de dados após cada iteração; use checkpoint.
FAQ
Preciso de GPU para rodar loops? Não necessariamente. Loops que usam APIs de LLM (como o prompt acima) rodam em qualquer máquina. Para treinamento de modelos, uma GPU com pelo menos 16 GB de VRAM é recomendada.
Qual a diferença entre loop e agentes de IA? Todo loop é um agente, mas nem todo agente usa loop. O loop é um padrão de design específico: planejar → agir → verificar → repetir, com métrica e condição de parada claras.
Posso usar o autoresearch em projetos que não são de ML? Sim. O padrão de loop se aplica a qualquer tarefa com métrica objetiva: refatoração de código, geração de documentação, otimização de queries SQL.
O Bilevel Autoresearch é viável para times pequenos? Depende do orçamento. O artigo usou RTX 5090 32GB com experimentos de 300s. Em cloud, o custo é similar a rodar hyperparameter tuning tradicional, mas com resultados potencialmente melhores.
Qual ferramenta usar para começar? Comece com o prompt de loop acima em qualquer LLM. Depois evolua para Claude Code ou Codex CLI quando precisar de integração com ferramentas reais e estado persistente.
O futuro dos loops autônomos
A direção é clara: em 2027, loops serão tão comuns em times de engenharia de IA quanto CI/CD é hoje em times de software. A pergunta não é mais "devemos automatizar experimentos?", mas "qual a métrica que define sucesso para o nosso problema?". Se você consegue responder essa pergunta com precisão, já tem tudo que precisa para colocar um loop para rodar — e tirar o humano do caminho crítico.
