DSpark: decodificação especulativa acelera inferência de LLMs em até 31%

A decodificação especulativa é uma das formas mais práticas de acelerar a geração de texto de um LLM sem adicionar GPUs — e o DSpark, técnica lançada pela DeepSeek, promete ir além dos métodos tradicionais. Um guia da KDnuggets mediu o ganho real: no Qwen3-8B rodando com llama.cpp, a geração saltou de 95,0 para 124,9 tokens por segundo, um aumento de cerca de 31,5% usando a mesma GPU.

Como funciona a decodificação especulativa

O gargalo da geração de texto em LLMs é a natureza sequencial da inferência: cada token depende do anterior. A decodificação especulativa contorna isso usando um modelo rascunho (draft) menor e mais rápido para “adivinhar” os próximos tokens, enquanto o modelo principal os verifica em lote. Se o palpite acerta, o modelo principal aceita vários tokens de uma vez.

Há várias abordagens: métodos tradicionais usam um draft menor; o Multi-Token Prediction (MTP) prevê vários tokens futuros de uma vez; Medusa e EAGLE melhoram a produção dos rascunhos; e o DFlash gera blocos de candidatos em paralelo.

O diferencial do DSpark

O DSpark combina um backbone paralelo com um componente sequencial leve. A ideia é resolver uma limitação dos drafts paralelos: quando você prevê um bloco inteiro de uma vez, as previsões mais ao final ficam menos precisas porque não dependem dos tokens anteriores do bloco. O componente sequencial permite que as posições finais incorporem a informação dos tokens já previstos — mantendo a velocidade do paralelismo.

Outro recurso é a estimativa de confiança: o DSpark avalia a probabilidade de cada token rascunho sobreviver à verificação e descarta os blocos de baixa confiança, evitando desperdício de computação. A DeepSeek relata que o DSpark melhorou a velocidade de geração por usuário em 60–85% em comparação ao baseline MTP-1, quando implantado com o DeepSeek-V4 em produção.

O teste local

O guia construiu o llama.cpp a partir do código-fonte com suporte CUDA e usou o Qwen3-8B Q4_K_M como modelo alvo e o dspark-Qwen3-8B-Q8_0 como draft. O benchmark usou decoding determinístico (--temp 0 --top-k 1) para garantir comparação justa.

O comando que ativa o DSpark no llama.cpp é simples: -md carrega o modelo draft, --spec-type draft-dspark habilita a técnica e --spec-draft-n-max 3 define até três tokens por rascunho.

Vale a pena?

O autor faz uma ressalva honesta: para a maioria dos usuários de LLMs locais, o MTP continua sendo a opção mais prática, por ser mais simples e ter suporte a uma gama maior de modelos. O DSpark pode levar vantagem quando a qualidade do draft é o fator decisivo. As limitações atuais são o suporte restrito de modelos compatíveis e a relativa novidade da implementação no llama.cpp — o que pode trazer bugs ou instabilidade dependendo da build.

Ainda assim, para quem roda modelos locais e quer extrair mais da mesma placa, o DSpark é uma técnica promissora e surpreendentemente fácil de configurar.