Novo método de decodificação garante sintaxe válida em saídas de modelos de linguagem

Garantia de forma, não de acerto

Um novo método de decodificação para modelos de linguagem produziu saída sintaticamente válida em todos os cenários testados, abrangendo JSON, SQL e lógica temporal linear (LTL), segundo um preprint do arXiv. O resultado é uma garantia sobre a forma, não sobre o sucesso da tarefa: a mesma avaliação registrou acurácia de tarefa menor para SQL e LTL.

O método, chamado SWYB, foi construído para geração estruturada, em que a saída precisa seguir uma gramática livre de contexto — um conjunto de regras sobre como suas partes podem ser organizadas. O resultado formal é estreito, mas claro: o Teorema 4.1 afirma que toda saída retornada pelo SWYB é aceita pelo PDA alvo, a máquina formal usada para verificar essas regras gramaticais.

Como o SWYB enxerga à frente

O SWYB combina resumos limitados de pushdown com rótulos de alcançabilidade e estimativas de distância de token com limite superior. Esses resumos orientam a validação de candidatos, poda, reranking e busca em feixe, permitindo que o decodificador mantenha várias continuações possíveis em jogo enquanto favorece escolhas que permanecem alcançáveis dentro da gramática. O design é ciente do tokenizador — leva em conta a forma como o modelo quebra texto em tokens.

Os benchmarks usaram 100 exemplos de JSON, 1.034 exemplos da divisão de validação de SQL e 6.185 exemplos em um conjunto de planejamento de drones construído em LTL. A avaliação rodou nos modelos Llama-3.1-8B-Instruct, Llama-3.2-3B-Instruct e Qwen2.5-7B-Instruct, com um orçamento máximo uniforme de 120 tokens por tarefa.

Sintaxe perfeita não é tarefa perfeita

Em JSON, o SWYB registrou 100,0% de validade sintática e 100,0% de validade de esquema para cada modelo. A decodificação levou 3,96 segundos por saída com o Llama-3.1-8B-Instruct, 3,46 segundos com o Llama-3.2-3B-Instruct e 4,05 segundos com o Qwen2.5-7B-Instruct. A distinção entre validade de forma e acerto de conteúdo é o ponto central: garantir que a saída sempre tenha a sintaxe certa é valioso para pipelines de produção, mas não substitui a capacidade do modelo de resolver a tarefa em si.