Poda de LLMs como um físico: remover blocos vira um problema de otimização de Ising

Uma das formas mais baratas de acelerar um modelo de linguagem grande é também uma das mais brutais: deletar blocos inteiros do transformer. Como o modelo literalmente fica mais curto, a remoção de blocos (também chamada de poda de profundidade) entrega ganhos previsíveis de velocidade e economia de memória — e combina bem com quantização e compressão de baixo rank. A parte difícil é decidir quais blocos cortar: remover os errados derruba o modelo, e o efeito de remover um bloco depende de quais outros você remove junto.

É exatamente esse o tipo de problema que a física de sistemas de spin foi construída para descrever. E foi essa correspondência que uma equipe da Multiverse Computing levou a sério em um novo paper: LLM Compression by Block Removal with Constrained Binary Optimization.

De ranking para problema de muitos corpos

A maioria dos métodos atuais pontua cada bloco isoladamente (magnitude, sensibilidade, “influência”) e remove os menos importantes — o que, em linguagem física, é um método de campo médio: trata cada bloco como se sua contribuição fosse independente das demais. O problema é que blocos não são independentes. Se remover o bloco 20 machuca ou não depende de você também ter removido o bloco 19 ou o 24 — uma interação, um acoplamento entre decisões. Ignorar esses acoplamentos deixa qualidade na mesa, sobretudo quando se quer remover muitos blocos de uma vez.

A ideia: transformar seleção de blocos em minimização de energia

A equipe atribui uma variável binária a cada bloco (0 = manter, 1 = remover), como um spin que aponta para cima ou para baixo. Depois, faz uma expansão de Taylor de segunda ordem da perda em relação a essas variáveis, gerando uma matriz Hessiana aproximada: a diagonal mede o quanto cada bloco importa sozinho, e os elementos fora da diagonal são exatamente os acoplamentos entre blocos — a física de muitos corpos que os métodos de campo médio descartam.

Com isso, “quais blocos devo remover?” vira um problema de otimização binária restrita: encontrar o conjunto de M blocos cuja remoção minimiza a energia xᵀH⁰x. Fisicamente, é um vidro de Ising — um sistema de spins com acoplamento todos-contra-todos. A propriedade-chave: a energia é uma boa proxy da qualidade. Minimizar energia e maximizar pontuação em benchmark passam a ser a mesma busca.

Resolvendo: exato quando dá, quântico quando não dá

Como calcular uma energia é barato, dá para fazer força bruta numa única GPU — verificando dezenas de bilhões de configurações. O caso mais difícil tratável (remover 8 dos 80 blocos do Llama-3.3-70B, ~29 bilhões de configurações) levou cerca de dois dias. Além disso, o problema na forma QUBO pode ser entregue a solvers clássicos, quânticos e quânticos-inspirados (quantum annealing, QAOA, tabu search, branch-and-bound). Um solver tabu open-source chega aos estados de menor energia em segundos, mesmo nos casos mais difíceis.

O espectro de baixa energia importa

A energia é uma boa proxy, mas não perfeita — então o estado de menor energia nem sempre é o melhor modelo. E isso é uma vantagem: uma vez montado o Hamiltoniano, ler o estado fundamental e os estados excitados de baixa energia é praticamente de graça, gerando um espectro de podas candidatas de alta qualidade em vez de uma única resposta frágil.

Um exemplo concreto: no Llama-3.1-8B com 16 de 32 blocos removidos, o 17º estado excitado foi o primeiro a propor remover um bloco perto do início do modelo — e, após um leve retreinamento, superou o estado fundamental em vários benchmarks. Isso derruba a suposição comum de que a melhor poda é um bloco contínuo de camadas do meio ou do fim.

Resultados

Em Llama-3.1-8B-Instruct, Qwen3-14B e Llama-3.3-70B-Instruct, o método (CBO) empata ou supera os baselines de remoção de blocos, e a diferença cresce conforme a compressão fica mais agressiva. O caso mais claro: na compressão profunda do Llama-3.3-70B, em 50% de profundidade (40 de 80 blocos removidos), o CBO mantém o MMLU perto de 77 pontos enquanto o melhor baseline cai para a casa dos 50 — uma vantagem de quase 23 pontos, sem retreinamento.

O método também se generaliza para arquiteturas híbridas: aplicado ao NVIDIA-Nemotron-3-Nano (que intercala Mamba2, atenção e camadas MoE), o CBO encontrou configurações que superam o baseline em AIME25 e GPQA — confirmando que a redundância em modelos híbridos é real, mas distribuída de forma desigual.

O código está disponível em github.com/CompactifAI, e o paper completo no Hugging Face.