X-MULTI: supervisão de um VLM ajuda modelo de imagem a combinar fatores nunca vistos

Por que isso importa

Modelos de texto-para-imagem costumam “colar” fatores correlacionados: se todo exemplo de câmera traseira usa lente olho-de-peixe, o modelo pode não conseguir gerar câmera traseira com outra lente. Um pré-print propõe o X-MULTI, que adiciona supervisão zero-shot de um modelo de visão-linguagem (VLM) para desacoplar fatores de imagem e permitir combinações não vistas no treino.

Como funciona

O X-MULTI parte do MULTI e acrescenta supervisão de um VLM. A implementação usa SDXL com 15 vetores de embedding por fator, treinado por 10 épocas. O ramo do VLM entra a partir da época 3, com força de supervisão de 10⁻⁶. A avaliação usou o DF-RICO, um benchmark com 15 conjuntos de dados de direção autônoma e vigilância, anotando lente, origem/domínio, ponto de vista e modalidade de sensor.

Resultados

• No I-FAA (medida de aderência a fatores), o X-MULTI marcou 0,53 contra 0,47 do MULTI — diferença relatada como 11% relativa.
• Por fator: +21% em lente e +18% em ponto de vista; sensor e domínio quase empatados (+0,01).
• No diagnóstico, o Qwen2-VL-7B-Instruct alcançou acurácia média de 0,78, contra 0,51 do LLaVA-1.6.

Limitações

A supervisão foi irregular: as predições para sensor rgb-thermal e para pontos de vista que não sejam frontais se mostraram não confiáveis, e a supervisão foi desativada nesses casos. Correlações residuais permaneceram para pares de fatores fortemente acoplados. O documento é um pré-print de 25 de agosto de 2026, sem publicação em periódico.