Ataque bit-flip faz modelos Mixture-of-Experts gerarem respostas muito mais longas

Um estudo computacional publicado no arXiv aponta uma vulnerabilidade surpreendente nos modelos Mixture-of-Experts (MoE): desativar poucos “especialistas” internos — menos de quatro, em quatro modelos reais de código aberto — foi seguido por uma inflação média de 5.912% no tamanho das respostas, com a maioria das amostras atingindo o teto máximo de tokens.

O trabalho, resumido pelo agregador developinglight.com, não demonstra uma inversão de bit de ponta a ponta em hardware real, mas mapeia com rigor a relação entre certos componentes internos do modelo e o sinal de parada da geração.

Por que isso importa

Modelos MoE — que roteiam cada parte da resposta por um subconjunto de componentes chamados “especialistas” — são a espinha dorsal de modelos como o GPT-OSS e o Qwen3, justamente por entregarem mais capacidade a custo menor. A descoberta sugere que alguns especialistas se especializam em terminar sequências. Se isso for confirmado, o mecanismo de parada de um LLM deixa de ser um detalhe e passa a ser um alvo de segurança.

A hipótese central dos pesquisadores: existiriam “especialistas de término” cujos padrões de ativação disparam de forma característica quando o modelo gera o token de fim. Atacar justamente esses especialistas poderia fazer o modelo gerar respostas indefinidamente longas — um vetor de negação de serviço (DoS) e de aumento de custo de inferência.

Como o estudo foi feito

• Os pesquisadores selecionaram especialistas relacionados ao término quando os scores de mudança de ativação cruzavam um limiar;
• O procedimento LOCAL testou a desativação camada por camada, enquanto o GLOBAL fez uma seleção por limiar geral;
• A análise estrutural cobriu seis modelos MoE de código aberto, em três modos diferentes;
• O método de inversão de bit foi implementado em quatro modelos e avaliado em quatro arquiteturas MoE, com 1.000 amostras aleatórias por dataset;
• Testes separados incluíram 10 sandboxes de código e o comportamento de EOT (“end-of-thinking”) no GPT-OSS e no Qwen3.

O passo que falta

O estudo descreve a perturbação bem-sucedida persistindo entre consultas posteriores, mas o passo físico — inverter bits selecionados na memória DRAM usando a técnica Rowhammer — não foi demonstrado em um sistema de ponta a ponta em execução. Em outras palavras, o ataque funciona no software simulado; a viabilidade do golpe físico em hardware real ainda é uma questão aberta.

O que observar daqui para frente

Esta é uma pesquisa de segurança com sabor de prova de conceito, não um incidente confirmado em produção. Ainda assim, ela levanta três implicações práticas para quem opera LLMs: primeiro, a resiliência de parada pode precisar ser tratada como um requisito de segurança; segundo, o custo de inferência pode se tornar um vetor de ataque; terceiro, a arquitetura MoE, tão celebrada pela eficiência, traz uma superfície de ataque própria que merece atenção.

Para o leitor brasileiro que acompanha a corrida dos modelos de código aberto, o recado é claro: eficiência e segurança nem sempre andam juntas, e a próxima geração de defesas terá de ser desenhada para dentro da arquitetura — não em volta dela.