Força de jogo de LLMs muda conforme o idioma da interface, mostra estudo com 518 mil partidas

O experimento

Três modelos de linguagem de pesos abertos não mostraram a mesma força de jogo quando os mesmos jogos foram apresentados por interfaces em idiomas diferentes, relata um pré-print do arXiv. O estudo manteve o jogo em si constante: duas instâncias do mesmo modelo jogavam versões traduzidas de um mesmo ambiente, com estados de tabuleiro, cartas, informações numéricas e regras fixas.

A avaliação principal cobriu três modelos abertos, oito idiomas e seis jogos — envolvendo raciocínio espacial, informação imperfeita, alocação de recursos e interação repetida. Foram registradas 518.400 partidas de self-play em 18 execuções modelo-jogo, usando apenas inferência, sem treinamento.

O que os resultados mostraram

Em todos os modelos, o inglês foi consistentemente uma interface forte e o hebraico, fraca. O Qwen3-4B exibiu a hierarquia de idiomas mais acentuada. O tamanho da diferença dependeu do jogo: Colonel Blotto apresentou a maior lacuna entre idiomas, enquanto Kuhn Poker esteve entre os menos sensíveis.

Um achado curioso: quando os pesquisadores mudaram apenas o idioma usado no raciocínio intermediário do modelo, mantendo a interface do ambiente, parte da lacuna foi recuperada. No jogo da velha (TicTacToe), a margem chegou a +0,20, com 89,4% da lacuna recuperada.

Discrepância entre saber e fazer

O estudo também identificou uma distância entre “dizer a estratégia ótima” e “executá-la”. Para o Qwen3-4B no jogo Nim, o modelo mencionou a estratégia ótima 150.005 vezes em inglês e 159.675 vezes em francês, mas fez o primeiro movimento ótimo em apenas 80,8% e 24,6% dos casos, respectivamente.

Por que isso importa

A mensagem prática é que avaliações multilíngues devem checar se o comportamento permanece consistente entre interfaces de idioma, em vez de confiar apenas em acurácia estática. Para o público brasileiro, isso levanta uma pergunta direta: modelos treinados majoritariamente em inglês podem se comportar de forma diferente quando usados em português, algo que benchmarks tradicionais nem sempre capturam. O estudo é um pré-print (versão 1, datado de 26 de agosto de 2026) e ainda não passou por revisão por pares.