NVIDIA explica como a speculative decoding acelera a inferência de LLMs mantendo a precisão

A NVIDIA publicou um guia técnico sobre speculative decoding (decodificação especulativa), uma técnica que acelera a inferência de modelos de linguagem ao prever vários tokens por vez, mantendo a mesma saída dos métodos tradicionais. O artigo é o terceiro de uma série sobre co-design de modelos de IA e oferece cinco diretrizes práticas para escolher o comprimento do “draft” e o mecanismo de especulação.

Como funciona

Na geração de texto, os LLMs produzem um token por vez de forma autorregressiva. A speculative decoding usa um modelo “draft” pequeno para propor vários tokens prováveis de uma só vez, que são então verificados em paralelo pelo modelo-alvo maior. Como apenas os tokens aceitos pelo modelo-alvo são mantidos, a saída final é idêntica à da decodificação padrão — mas com menos iterações e maior eficiência aritmética.

Cinco diretrizes para o “draft” ideal

O guia destila o problema em cinco regras práticas. A primeira: aumente o comprimento do draft para empurrar as operações GEMM para a região computacionalmente limitada, sem aumentar a pressão sobre o cache KV. A segunda: quando a atenção domina o tempo de decodificação, o comprimento ideal é D = 128/G - 1, onde G é o número de heads de consulta por head KV. A terceira orienta alinhar drafts maiores aos limites de 128 do tile do kernel de atenção para evitar subutilização.

Na região de baixa latência, a quarta diretriz recomenda aumentar o draft apenas enquanto o ganho em “acceptance length” (número de tokens aceitos por iteração) compensar o custo adicional. A quinta resume a escolha do mecanismo: equilibrar aceitação, latência do draft e custo de treinamento e implantação.

Escolhendo o mecanismo certo

O artigo compara diferentes mecanismos de draft — modelos externos, EAGLE-3, MTP, DFlash, DSpark e métodos baseados em n-gramas — cada um com compensações distintas entre custo de treinamento, memória em tempo de serviço e overhead de especulação. A recomendação é medir a aceitação em benchmarks realistas como o SPEED-Bench e quantificar o overhead com o TensorRT-LLM.

Para quem quiser aplicar na prática, a NVIDIA disponibiliza exemplos prontos de treinamento para EAGLE-3, DFlash e DSpark no repositório NVIDIA/Model-Optimizer, incluindo workflows de fine-tuning e quantização demonstrados no modelo Nemotron 3.5 Lightning. Para o público brasileiro, o guia importa porque a aceleração de inferência é um dos principais fatores de custo na adoção de LLMs em produção.