VTCDy comprime tokens de vídeo e mantém 97,8% do desempenho em benchmarks

Comprimir vídeo sem perder o sentido

Vídeos longos são um pesadelo de tokens para modelos multimodais: cada frame vira centenas de tokens, e um vídeo de duas horas pode estourar qualquer janela de contexto. Um novo preprint propõe aplicar princípios de codificação de vídeo para comprimir os tokens usados por modelos de linguagem multimodais (MLLMs) — e reporta que dá para manter quase todo o desempenho usando apenas 25% dos tokens visuais.

O sistema dinâmico, chamado VTCDy, atingiu 97,8% de retenção média no Qwen3-VL-8B na configuração de 0,25. Nessa métrica, 100% representa a pontuação média do mesmo modelo sem compressão — ou seja, um valor pouco abaixo de 100% indica uma diferença pequena no resultado médio testado.

Como funciona

O método base, chamado VTC, move a lógica de predição de referência e codificação residual para o espaço de características visuais. Ele constrói I-frames e P-frames semânticos e seleciona tokens de P-frames pela energia residual — uma medida de quanta informação sobra após a predição da referência. O VTC é descrito como training-free, sem necessidade de fine-tuning.

O VTCDy adiciona três peças: Dynamic Resolution Input (muda a resolução fornecida ao modelo), Dynamic Token Allocation (controla quantos tokens são atribuídos) e Spatial Coverage Top-K (decide quais tokens espaciais são mantidos).

Resultados e limites

Com 50% de retenção, a média foi de 100,1% no Qwen3-VL, 101,6% no LLaVA-OneVision e 100,3% no LLaVA-OneVision-2. Os testes cobrem tarefas de múltipla escolha em quatro benchmarks de vídeo longo — MLVU, LongVideoBench, LVBench e Video-MME. Como a métrica é relativa, valores acima de 100% indicam pontuações agregadas levemente superiores à comparação sem compressão. Os resultados vêm de um preprint e não foram revisados por pares.