Técnica corta até 23% dos tokens de raciocínio de LLMs sem perder precisão em matemática

O custo invisível do raciocínio

Modelos de linguagem que “pensam” antes de responder — como os da linha Qwen e similares — gastam muitos tokens em reflexão: passos intermediários que nem sempre contribuem para a resposta final. Cada token extra custa dinheiro e latência. Um preprint de 26 de agosto de 2026 propõe atacar exatamente isso com um controlador sem necessidade de treino (training-free).

Como o controlador funciona

A técnica, chamada Reflection Steering, atua no fluxo residual do modelo — a representação interna que passa de camada em camada. Ela estima uma “direção de reflexão” a partir de estados reflexivos e não reflexivos, usa PCA para reduzir ruído, remove a sobreposição com a direção geral de raciocínio e aplica uma projeção limitada durante a decodificação.

O que os números mostram

No MATH-500, a redução de tokens de raciocínio foi de 21,8% com variação de precisão de só -0,1 ponto percentual; num teste disjunto (MATH-350), a economia foi de 23,4% com precisão +0,1 ponto. Testes de equivalência pareados sustentaram ambos os resultados dentro de uma margem de 1 ponto.

A transferência para o benchmark de ciências GPQA-Diamond foi mais conservadora: 21% de economia, mas o teste de equivalência não passou (diferença de -1,52 pontos). A economia também variou por modelo — 6,6% no Qwen3-8B contra 26,4% no QwQ-32B no MATH-500. O trabalho vale como evidência de uma troca controlável entre tokens e precisão na família Qwen, não como garantia universal.