Dois problemas de uma vez só
Interpretar língua de sinais por vídeo exige resolver duas tarefas ao mesmo tempo: reconhecer uma sequência contínua de sinais e localizar (spotting) onde cada sinal individual começa e termina. A maioria dos sistemas trata uma tarefa ou outra. Um novo framework chamado SMART promete unificar as duas, e um preprint de 26 de agosto de 2026 o reporta como o melhor sistema nos quatro benchmarks avaliados.
Como o SMART funciona
A ideia central é adicionar descrições de movimento em linguagem natural à informação visual do vídeo. O sistema usa o modelo multimodal LLaVA-OneVision-7B para gerar descrições de cada quadro e, em seguida, combina esse alinhamento “vídeo–texto” com um codificador visual (CLIP ViT-B/16) reforçado por módulos de atenção temporal e um módulo CSFormer dedicado ao spotting.
Números e fronteiras
No benchmark Large-scale KSL (língua de sinais coreana), o SMART atingiu F1@50 de 96,72 com um WER (taxa de erro de palavra) de apenas 0,48 — contra 7,37 do mesmo sistema rodando só reconhecimento, sem o módulo de spotting. Nos benchmarks PHOENIX14-T (alemão) e CSL-Daily (chinês), os ganhos de reconhecimento foram menores, indicando que a maior vantagem aparece onde há anotações temporais para o spotting.
Importante: é um preprint, com avaliação restrita a testes offline em quatro datasets e sem testes estatísticos inferenciais, intervalos de confiança ou validação em cenários reais de uso. A qualidade das descrições de movimento geradas pela IA também não foi validada separadamente. Ainda assim, o trabalho aponta uma direção promissora para tecnologias assistivas mais acessíveis.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
