Osprey acelera inferência de LLMs em até 22,7% reusando modelos pré-treinados

Decodificação especulativa: rápida, mas frágil

A decodificação especulativa é hoje uma das técnicas mais importantes para acelerar a inferência de grandes modelos de linguagem. A ideia é usar um modelo pequeno e rápido (o drafter) para propor candidatos de tokens, que um modelo grande verifica em paralelo.

O problema: a aceleração é frágil. Drafters são tipicamente treinados contra uma distribuição estreita, para um único modelo-alvo — e a taxa de aceitação desmorona quando a carga de trabalho muda. Isso é uma inversão curiosa em relação ao próprio desenvolvimento de LLMs, que valorizam justamente a generalização ampla obtida com pré-treinamento em larga escala.

Osprey: reaproveitar pré-treinamento de verdade

Pesquisadores da NYU, AWS e Microsoft propõem o Osprey, que parte de modelos de linguagem pequenos já pré-treinados e os trata como um ativo reutilizável e independente do alvo. Em vez de repetir o pré-treinamento para cada modelo-alvo, o Osprey reduz o trabalho por alvo a uma etapa leve de adaptação.

Isso exige resolver dois desafios: modelos pequenos são profundos demais para um drafter limitado por latência, e o cálculo pré-treinado precisa permanecer intacto enquanto o drafter aprende a consumir os estados ocultos do alvo. A solução combina poda para uma espinha dorsal rasa, pré-treinamento next-token independente do alvo, alinhamento de vocabulário e destilação da distribuição de saída do alvo.

Ganhos que se transferem entre modelos

Nos experimentos, uma única espinha dorsal pré-treinada do Osprey se transfere entre alvos e eleva o comprimento médio de aceitação em 16,1% para o Qwen3-8B, 21,2% para o Llama-3.3-70B-Instruct e 22,7% para o MiniMax-M2.5 (229B) — este último com 17,5% a mais de tokens por segundo. Os maiores ganhos aparecem justamente em dados fora de domínio e multilíngues, onde drafters tradicionais mais sofrem.

Para quem opera inferência em escala, o recado é claro: reusar pré-treinamento em vez de re-treinar drafters do zero reduz custo e melhora robustez.