Hugging Face adiciona o hindi, primeiro idioma do Sul Global, ao Open ASR Leaderboard
O Open ASR Leaderboard, principal referência pública para avaliar modelos de reconhecimento de fala, ganhou seu primeiro idioma do Sul Global. A Hugging Face, em parceria com a Voice Arena, lançou dois conjuntos de avaliação batizados de Monsoon: um para hindi (hi-IN) e outro para inglês indiano (en-IN). O hindi, falado por mais de meio bilhão de pessoas, é o primeiro idioma índico a entrar na aba multilíngue do ranking — que até então cobria apenas línguas europeias.
O problema que o Monsoon expõe
A tese central do anúncio é que benchmarks moldam o que é construído. Um modelo que pontua bem no leaderboard é adotado e aprimorado; o que o leaderboard não mede tende a não melhorar. E o erro médio de transcrição (WER, na sigla em inglês) esconde desigualdades: estudos já mostraram que sistemas comerciais são aproximadamente duas vezes piores para falantes negros do que para brancos, e que há diferenças por gênero, idade e sotaque. Nada disso aparece em um número único.
O Monsoon foi desenhado para variar ao longo de nove eixos: geografia, idade, gênero, vocabulário, dispositivos, ambientes acústicos, tipo de fala, velocidade e a existência de múltiplas transcrições válidas para o mesmo áudio. Cada um desses eixos é uma forma de um WER agregado estar “certo na média” e errado para uma população específica.
Uma base pequena em horas, grande em vozes
Os conjuntos reúnem 4.888 falantes, com 12 atributos registrados por locutor — incluindo ocupação, escolaridade, faixa de renda, marca do celular e distrito. Nenhuma voz carrega a pontuação: os dez maiores contribuidores somam entre 2,8% e 6,8% da duração total, e mais da metade dos falantes aparece exatamente uma vez. O inglês indiano cobre 428 distritos em 30 estados, com mais de 500 modelos de aparelho diferentes — o que impede o overfitting a um único microfone.
A coleta foi feita por meio de conversas espontâneas de dois canais, segmentadas para isolar um falante por trecho. A transcrição de referência é trabalho humano, com revisão em cinco níveis por linguistas nativos, em um esquema em que nenhum revisor audita a própria saída.
A complexidade ortográfica do hindi
O inglês tem variação ortográfica limitada, resolvível por normalizadores. O hindi não: a fala cotidiana é fortemente misturada com inglês, palavras de origem inglesa não têm grafia Devanagari fixa, e uma mesma frase pode ter dez ou mais formas escritas válidas. Por isso, os conjuntos de hindi usam um lattice — para cada trecho, uma lista das grafias aceitas como corretas — e a métrica passa a ser o OIWER (Orthographically-Informed Word Error Rate), introduzido pela AI4Bharat, em vez do WER tradicional.
A Hugging Face também abriu o código da implementação, chamada voi-oiwer, permitindo reproduzir todos os resultados.
Por que isso importa
O efeito prático é direto: modelos que pareciam equivalentes no ranking se revelam desiguais quando a precisão é desagregada por região. No texto, a equipe mostra que oito modelos estão separados por apenas 0,18 ponto de WER no inglês indiano — na prática, o mesmo modelo. Mas ao agrupar por zona geográfica, sistemas “empatados” variam até 1,68 ponto entre regiões, e a zona mais difícil muda conforme o modelo. Isso aponta para o modelo, não para o áudio.
Para quem desenvolve ou adota sistemas de fala no Brasil — um país com enorme diversidade de sotaques e acesso desigual a aparelhos — o Monsoon é um modelo metodológico relevante: avaliação que registra quem falou e como escreve, em vez de colapsar tudo em um número.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
