Agente de IA local executa simulações de colisor a partir de linguagem natural

O que o estudo mediu

Um sistema de linguagem local para construir fluxos de trabalho de simulação de colisores teve sua melhor taxa de aprovação em benchmark quando usou o agente completo com salvaguardas. Em uma comparação pareada de 61 casos, a geração nativa direta passou em 2 casos (3,3%); uma abordagem estruturada que primeiro converte o pedido em uma descrição formal passou em 8 (13,1%); e o agente completo, com proteções, passou em 52 (85,2%) após a normalização de representação.

Separar interpretação de execução

A avaliação girou em torno de uma questão de design prático: vale a pena separar a interpretação que o modelo de linguagem faz de um pedido da construção e execução determinística do fluxo de trabalho? No sistema descrito, construtores determinísticos montam os artefatos de execução, que são exibidos para inspeção antes da aprovação. A aprovação não dispara outra chamada de planejamento — é um construtor inspecionável e com aprovação humana.

O experimento principal planejou 60 casos de solicitação de modelo e obteve respostas utilizáveis em 47; 13 foram classificados como infraestrutura indisponível. Nesses 47, a primeira proposta estruturada passou em 7 casos (14,9%) sem modificação, e o pipeline completo passou em 19 (40,4%). Após a normalização, os números subiram para 11 (23,4%) na primeira proposta e 43 (91,5%) no pipeline completo.

O que o salto nos números realmente significa

O artigo descreve a diferença entre as duas visões de pontuação como um descompasso contábil envolvendo o formulário de lançamento, duas linhas de controle fixas e o nome do diretório de saída — não uma diferença no conteúdo de física. A normalização mudou como o benchmark contava os fluxos, não a física descrita na comparação.

Para o público brasileiro, o resultado ilustra um padrão que se repete em todo o ecossistema de agentes de IA: quando a saída de um modelo passa por um construtor determinístico com revisão humana antes de executar, a taxa de sucesso em tarefas complexas e estruturadas salta de forma dramática — sem depender de um modelo maior ou mais caro.