A medição de qualidade de modelos de IA saiu dos laboratórios e virou um negócio. No centro dessa transição está Anastasios Angelopoulos, cofundador e CEO da Arena — a empresa que nasceu do Chatbot Arena, o ranking que se tornou a referência informal de “qual modelo é melhor” nos últimos anos. Em entrevista ao The Sequence, ele detalhou o que um score de arena realmente mede, e o que ainda está longe de ser resolvido.
De projeto paralelo a padrão da indústria
O Chatbot Arena começou como um projeto de bastidor do Berkeley SkyLab, com um objetivo modesto: reunir evidências de que o modelo de código aberto da própria universidade, o Vicuna, era melhor que os concorrentes. A mecânica era simples — dois modelos respondem lado a lado e o usuário vota no melhor, sem saber qual é qual. O ranking emergente dessas preferências cegas se tornou, segundo Angelopoulos, uma forma de ranquear modelos “pela utilidade que entregam a pessoas reais em fluxos de trabalho reais”.
Hoje a plataforma vai muito além de preferências humanas: mede taxas de conclusão de tarefas, taxas de alucinação e outros indicadores. A diferença, argumenta ele, está na metodologia randomizada — cada modelo recebe, em média, tarefas da mesma dificuldade, o que mantém o ranking justo mesmo quando os modelos são muito diferentes entre si.
O que um score de arena captura (e o que não captura)
Um ponto recorrente na entrevista é a distinção entre preferência e factualidade. Um modelo pode ser eleito o favorito dos usuários por ser mais agradável, mais conciso ou mais persuasivo — sem necessariamente ser mais correto. Angelopoulos defende que essas dimensões devem ser medidas separadamente, não fundidas num número único que esconda o que está sendo avaliado.
Ele também destaca uma mudança de métrica importante: como os modelos diferem no consumo de tokens por tarefa, o custo por tarefa tende a ser uma medida mais informativa que o preço por token. É uma observação alinhada com o momento atual, em que modelos “verbosos” podem ter preço baixo por token mas custo final alto por tarefa concluída.
O futuro: agentes, ferramentas e harnesses no ranking
O próximo passo da Arena, segundo o CEO, é incluir harnesses e ferramentas na conversa de ranqueamento. À medida que agentes passam a usar busca, execução de código e memória externa, separar “o que é o modelo” de “o que é o scaffolding ao redor” vira um problema central — e é justamente essa separação que ele aponta como um dos gargalos mais subestimados do campo.
Sobre os desafios mais difíceis na fronteira da avaliação, ele cita desde questões quase sociológicas — como definir “utilidade” de forma rigorosa — até problemas técnicos, como construir avaliações personalizadas capazes de estimar o desempenho de um modelo no nível individual do usuário.
Uma previsão polêmica
Questionado sobre uma previsão para 2027 que 90% dos leitores discordariam, Angelopoulos respondeu sem hesitar: os laboratórios chineses podem superar todos os laboratórios americanos ainda neste ano. “É uma previsão controversa, mas eu daria mais de 50% de chance”, afirmou, citando os avanços recentes dos modelos chineses.
Para quem acompanha avaliação de IA — de pesquisadores a engenheiros que escolhem qual API usar em produção — o recado da entrevista é claro: confiar num único número de leaderboard é cada vez menos suficiente, e a medição de valor real de um modelo está se tornando tão complexa quanto os próprios modelos.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
