Humanity’s Last Exam é uma distração? O debate sobre o benchmark que os melhores modelos mal passam
O benchmark Humanity's Last Exam testa os limites do raciocínio da IA com 2.500 perguntas de nível PhD. Modelos de fronteira mal…
Tag: benchmark
37 publicações encontradas
ScarfBench: novo benchmark expõe os limites dos agentes de IA na migração de frameworks Java empresariais
Modernizar aplicações empresariais é uma das atividades de engenharia de software mais caras e complexas que as organizações enfrentam. A migração…
SkillOpt transforma edição de habilidades de agentes de IA em um processo de otimização controlado
Agentes de IA baseados em grandes modelos de linguagem (LLMs) frequentemente falham porque suas instruções — ou "skills" — são modificadas…
Memora: memória escalável para agentes de IA que equilibra abstração e especificidade
Agentes de IA atuais são essencialmente sem estado: cada sessão começa do zero, conversas longas exigem releitura de todo o histórico e…
Arena, o ranking de IA que todos usam, já é um negócio de US$ 100 milhões
O LMArena, ranking de IA baseado em batalhas pareadas entre chatbots, atingiu US$ 100 milhões em receita menos de um ano após…
OpenAI Lança LifeSciBench: Benchmark com 750 Tarefas Avalia Modelos de IA em Pesquisas Reais de Biociências
A OpenAI acaba de lançar o LifeSciBench , um benchmark ambicioso com 750 tarefas desenvolvidas para avaliar modelos de IA em cenários…
OpenAI lança LifeSciBench: benchmark com 750 tarefas para avaliar IA em ciências da vida
A OpenAI acaba de anunciar o LifeSciBench , um novo benchmark projetado para medir a capacidade de sistemas de IA em apoiar…
ITBench-AA: Benchmark Revolucionário Avalia Modelos de IA em Tarefas de Engenharia de Confiabilidade de Sistemas Empresariais
Em uma parceria entre a Artificial Analysis e o IBM Research, foi lançado o ITBench-AA, o primeiro benchmark focado em avaliar modelos…
Microsoft MDASH: Plataforma de IA para Auditoria Automática de Vulnerabilidades em Larga Escala
Desafios da Segurança em Grandes Bases de Código Com o crescimento exponencial de sistemas complexos, como o Windows, Hyper-V e Azure, a…
Parameter Golf: Lições da competição que avançou a pesquisa em IA assistida
Desafio e objetivo do Parameter Golf O Parameter Golf foi uma competição inovadora que reuniu mais de 1.000 participantes e recebeu mais…
SocialReasoning-Bench: Avaliando a Capacidade de Agentes de IA em Defender os Interesses dos Usuários
Por que avaliar o raciocínio social em agentes de IA? À medida que agentes de inteligência artificial assumem tarefas mais complexas em…
Novo Benchmark MNW da Microsoft e Parceiros Amplia Detecção de Deepfakes em Meio à Evolução da IA Generativa
Com a rápida evolução da inteligência artificial generativa, identificar se uma imagem, áudio ou vídeo é real ou falso tornou-se um desafio…
Avaliações de IA: o novo gargalo computacional que desafia pesquisadores e indústria
O aumento exponencial dos custos em avaliações de IA Nos últimos anos, a avaliação de modelos de inteligência artificial (IA) tem se…
ReasoningBank: Aprendizado Contínuo para Agentes Inteligentes a partir de Experiências
O desafio do aprendizado contínuo em agentes inteligentes Agentes baseados em inteligência artificial têm se tornado cada vez mais fundamentais para…
VAKRA: Novo Benchmark da IBM para Avaliação Avançada de Agentes de IA em Ambientes Corporativos
A IBM Research, em parceria com a Hugging Face, lançou o VAKRA, um benchmark inovador que avalia a capacidade de agentes de…
Muse Spark: O Novo Modelo de IA da Meta que Coloca Zuckerberg na Vanguarda da Inteligência Artificial
O Desafio da Meta em Reposicionar Sua IA Em um movimento estratégico para retomar protagonismo no cenário da inteligência artificial, a Meta…
ALTK-Evolve: Aprendizado Contínuo para Agentes de IA com Memória de Longo Prazo
O problema do "estagiário eterno" em agentes de IA Imagine um cozinheiro que decorou todos os livros de receita, mas esquece as…
Benchmark com Claude Code revela que linguagens dinâmicas são mais rápidas e econômicas para prototipagem AI
Contexto e objetivo do benchmark O desenvolvedor e committer Ruby Yusuke Endoh conduziu um benchmark inédito para avaliar a eficiência da geração…
Falcon Perception: Transformer de Fusão Antecipada Revoluciona Segmentação e Compreensão Visual
Falcon Perception: Uma Nova Arquitetura para Sistemas de Percepção Visual O Falcon Perception é um modelo Transformer com 0,6 bilhão de parâmetros…
Por que os Modelos de Linguagem Grande Ainda Não Conseguem Jogar Videogames?
O Desafio dos LLMs em Videogames Modelos de linguagem grande (LLMs) avançaram rapidamente, superando benchmarks e resolvendo problemas cada vez mais…
AsgardBench: Benchmark para Planejamento Interativo Visualmente Fundamentado em IA Embutida
Imagine um robô encarregado de limpar uma cozinha. Para realizar essa tarefa com sucesso, ele precisa observar o ambiente, decidir as ações…
GroundedPlanBench: Avanços em Planejamento Espacial para Manipulação Robótica de Longo Prazo
Desafios do Planejamento Robótico com Modelos Visão-Linguagem Modelos de visão e linguagem (VLMs) combinam imagens e texto para planejar ações de…
EVA: Novo Framework para Avaliação Completa de Agentes de Voz Conversacionais
Desafios na Avaliação de Agentes de Voz Agentes de voz conversacionais precisam equilibrar duas dimensões essenciais para o sucesso: precisão — a…
Arena: o ranking imparcial que define os melhores modelos de IA financiado pelas próprias gigantes do setor
Com a rápida multiplicação dos modelos de inteligência artificial (IA) e a crescente concorrência no setor, surge uma questão crucial: como…