ViSA sintetiza dados multimodais com verificação própria e dispensa anotação humana

Treinar modelos que entendem imagem e texto exige enormes conjuntos de instruções anotadas — um gargalo caro e demorado. O preprint do ViSA ataca esse problema com um sistema de síntese de dados que se autoavalia e se corrige em loop fechado, dispensando anotação humana adicional. Aplicado ao Qwen3.5-4B, o método elevou a pontuação média no benchmark de instrução multimodal MM-IFEval de 60,8 para 64,9.

Um pipeline que aprende com os próprios erros

O ViSA trata a síntese de instruções como um ciclo de quatro etapas: Percepção, Planejamento e Execução, Reflexão e Atualização de Memória. Na prática, o sistema analisa uma imagem e uma tarefa, planeja um exemplo, reflete sobre amostras que falharam e atualiza uma biblioteca de restrições para as rodadas seguintes. Quando uma amostra falha, entra em cena uma recuperação guiada por diagnóstico.

Um detalhe importante: o sistema usa “contratos de verificador” (checagens de se a instrução foi cumprida) como recompensas de aprendizado por reforço, sem treinar um modelo de recompensa separado. Nos experimentos, o Qwen3.5-27B atuou como agente de síntese e o Qwen3.5-4B como modelo treinado, em 128 GPUs L40S.

O que a autoavaliação produziu

Em 126 rodadas de auto-evolução, a biblioteca de restrições do sistema cresceu de 76 para 310 tipos — um aumento de 4,1 vezes sem anotação humana. O corpus gerado (cerca de 15 mil exemplos) cobriu todas as 90 combinações de categorias rastreadas, com distância média de cosseno de 0,977 entre embeddings, indicando alta diversidade.

Nos sete benchmarks multimodais gerais avaliados (MMBench, MMStar, MathVista, OCRBench e outros), a média subiu de 70,5 (base) para 72,9 com a variante de aprendizado por reforço. O modo com RL superou a base em cinco dos sete benchmarks.

O que fica em aberto

O resultado é baseado em benchmarks, sem avaliação com usuários reais ou em implantação, e está centrado nos modelos Qwen3.5. Uma auditoria manual de uma amostra encontrou ~95% de concordância entre o juiz de LLM e anotadores humanos, mas o tamanho dessa amostra não foi reportado. Os autores também reconhecem que os casos “P-Level” do MM-IFEval dependem de percepção visual e não medem isoladamente a qualidade da instrução.

Para equipes que trabalham com modelos de visão e linguagem, o ViSA indica um caminho concreto: fazer o próprio modelo gerar, checar e refinar seus dados de treino — reduzindo a dependência de anotação humana cara.