Claude Sonnet 5: Anthropic lança modelo intermediário com desempenho de agente próximo ao Opus 4.8
Anthropic lança Claude Sonnet 5 com benchmarks próximos ao Opus 4.8 por um terço do preço: 63,2% no SWE-bench Pro, 81,2% no…
Tag: benchmarks
5 publicações encontradas
Hugging Face e EvalEval integram resultados de avaliação em páginas de modelos
A avaliação de modelos de IA é um campo notoriamente fragmentado. Um mesmo modelo pode apresentar pontuações radicalmente diferentes no mesmo…
QIMMA: A Plataforma que Revoluciona a Avaliação de Modelos de Linguagem em Árabe com Foco na Qualidade
Desafios na Avaliação de Modelos em Árabe Embora o árabe seja falado por mais de 400 milhões de pessoas em diversas regiões…
Simula: Como o Google está revolucionando a geração de dados sintéticos para IA especializada
O desafio dos dados especializados para IA O avanço acelerado dos modelos de IA generalistas tem sido impulsionado pela enorme quantidade de…
Por que o SWE-bench Verified já não é mais confiável para avaliar avanços em IA de programação
Nos últimos anos, a avaliação do progresso em inteligência artificial aplicada à programação tem sido um desafio constante para pesquisadores e…