“Nós não escrevemos mais prompts. Nós projetamos loops.” A frase, atribuída a alguém da Anthropic em junho de 2026, já parece verdadeira. Mas há uma armadilha escondida nela: um loop de agente que faz autocorreção usando o próprio modelo como verificador não funciona melhor do que não fazer nada. Foi isso que Javier Marin demonstrou com um experimento controlado.
O problema da verificação cresce a cada passo
Uma única chamada de LLM tem um ponto de falha: a resposta. Um loop de três passos multiplica isso: rascunho, crítica, revisão, nova crítica, decisão de parar — cada etapa é uma saída do modelo que pode estar confiantemente errada. E se o verificador diz “bom”, o loop publica o erro — e pior, pode continuar polindo o erro até ele soar convincente.
O verificador mais comum é o próprio modelo se autoavaliando. É barato, não exige infraestrutura extra e parece “reflexão”. O problema: o modelo otimiza para respostas que soam corretas, não que são corretas. Uma resposta confiante, fluente e errada é aprovada com a mesma facilidade.
Verificação determinística e ancorada na fonte
A alternativa é um verificador que não pede a opinião do modelo. Duas propriedades são essenciais:
- Ancorado na fonte: mede se a resposta está fundamentada em uma fonte real, não se soa bem.
- Determinístico: mesma entrada, mesmo veredito, sempre. Sem variação estocástica.
O verificador usado é geométrico: ele representa pergunta, resposta candidata e fonte como vetores em uma hiperesfera e mede os ângulos entre eles. Uma resposta fundamentada fica próxima da fonte; uma alucinação se afasta dela em direção à pergunta. O Semantic Grounding Index (SGI) e o Distributional Grounding Index (DGI) são calculados deterministicamente sobre um encoder fixo. A implementação é open source: Groundlens.
No benchmark HaluEval QA, o sinal combinado SGI+DGI atinge AUROC de 0,949 na detecção de alucinações (IC 95%: [0,926, 0,971]).
O experimento: self-critique vs. verificação ancorada
O design isola uma variável: contra o que o loop verifica. Um gerador (Claude Opus 4.8) responde perguntas factuais em closed-book — ou seja, de memória, sem fonte — então alucina com frequência. Cada pergunta passa por quatro braços:
- Single-call: uma única resposta, sem loop (piso de performance)
- Self-critique: loop com o modelo checando o próprio trabalho
- Source-anchored: loop com verificador geométrico ancorado na fonte
- Open-book: modelo com acesso direto à fonte (teto de performance)
Um juiz cross-model (GPT-5.5) avalia todas as respostas finais, garantindo que nenhum modelo se autoavalie.
Resultados
Self-critique não ajudou. Com 43,3% de acurácia, foi ligeiramente pior que o piso de 40,0%, e seus intervalos de confiança se sobrepõem quase completamente. As iterações extras não compraram nada — e a pequena piora é consistente com a auto-crítica ocasionalmente derrubar respostas que estavam corretas.
A verificação ancorada na fonte reduziu a taxa de erro pela metade. De 40,0% para 19,2% — uma redução relativa de 52% — com aproximadamente o mesmo número de iterações. Os intervalos de confiança não se sobrepõem: o resultado é sinal real, não sorte.
A forma do resultado é a história: mesmo gerador, mesmo orçamento de loop, mesma desvantagem de closed-book. A única diferença foi em que o loop confiava — e isso moveu o ponteiro pela metade.
Limitações e implicações práticas
O verificador mede grounding (ancoragem na fonte), não verdade absoluta. Se a fonte estiver errada, o verificador vai aprovar uma resposta errada mas bem fundamentada. Em benchmarks que medem veracidade em vez de grounding, o mesmo sinal fica próximo do acaso.
A lição prática para quem está construindo agentes: aponte o verificador do loop para algo fora da opinião do modelo. Um check determinístico e inspecionável contra uma fonte real produz loops mais eficazes e mais confiáveis — e você ganha um veredito que pode ser logado e reproduzido, em vez de um “vibe check”.
O verificador usado no experimento e o notebook completo que reproduz todos os números estão disponíveis em github.com/groundlens-dev/groundlens.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
