Modelos esparsos do tipo Mixture-of-Experts (MoE) se tornaram padrão para rodar modelos grandes com menos computação — apenas um subconjunto de “especialistas” é ativado por entrada. Mas a robustez desses modelos contra ataques adversários (perturbações mínimas na entrada que enganam o modelo) é bem menos estudada do que em redes densas.
A ideia central
O Robust CurveMoE ataca um problema concreto: um modelo geralmente não consegue ser robusto ao mesmo tempo contra perturbações ℓ1, ℓ2 e ℓ∞ (três “normas” de ataque diferentes). A proposta é construir uma “curva” de especialistas candidatos, restringir a seleção pelo pior caso entre as três normas e usar um roteador top-1 que escolhe o especialista mais adequado para cada entrada individualmente.
Resultados
A chamada Union accuracy — a fatia de amostras classificadas corretamente sob as três normas de ataque ao mesmo tempo — cresceu 2,37 pontos percentuais no CIFAR-100 e 2,13 no ImageNet-100 em relação ao melhor baseline (MSD e ERMC). No CIFAR-100, o modelo atingiu 58,34% de acurácia limpa e 18,23% de Union accuracy, com ataques AutoAttack.
O que ainda falta
O trabalho é um preprint sem revisão por pares, e os testes se limitam a CIFAR-100 e ImageNet-100. A melhora é real, porém modesta — o importante aqui é a direção: tratar a robustez multi-norma como capacidades separadas, escolhidas adaptativamente por entrada, em vez de forçar uma única configuração para todos os casos.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
