Modelos de vídeo para robôs parecem corretos, mas erram a cena — novo benchmark revela o problema
Benchmark RoboPhys-3D revela que modelos de vídeo para robôs geram imagens plausíveis, mas erram geometria e posição dos objetos.
Categoria: Pesquisa e Ciência
Benchmarks, papers acadêmicos, descobertas científicas e inovação
311 publicações encontradas
Drones guiados por LLM encontram alvos com caminhos até 52% mais curtos
Pré-print do arXiv combina o LLM o3-mini, detecção YOLO11 e planejamento A* para buscar objetos com caminhos até 52% mais curtos em…
Técnica de treinamento faz IA alinhar imagens médicas entre sensores com espectros diferentes
Treinar IA com imagens alteradas melhora o alinhamento de exames médicos entre sensores distintos, alcançando precisão de benchmark sem mudar a arquitetura…
PRQ-KMeans aprimora tokenização semântica para busca e recomendação
Novo tokenizador de IDs semânticos supera RQ-KMeans em quatro benchmarks públicos e em avaliação industrial com 16,8 milhões de representações.
TrAct usa trilhas visuais para unir controle de robôs e previsão de vídeo
Sistema combina política de ação com modelo de mundo para subir sucesso de 27% para 55% em simulação e de 49% para…
ExMesh++ converte imagens multi-view em ativos 3D editáveis e relightable
Pré-print descreve método de dois estágios que reconstrói malhas UV-PBR a partir de múltiplas imagens, com texturas editáveis e reluminação.
Estudo com 121 modelos mostra que contaminação infla notas, mas raramente muda o ranking de LLMs
Análise com 121 modelos mostra que contaminação de benchmarks infla notas, mas quase não altera a ordem dos modelos no ranking. Entenda…
PRO-Step otimiza RAG passo a passo e reduz propagação de erros em raciocínio de múltiplas etapas
Novo método combina recompensa por etapa, busca em árvore e DPO para corrigir falhas de recuperação e liderar cinco benchmarks de RAG.
Estudo unifica três técnicas de aprendizado em tempo de inferência sob o conceito de Test-Time Intelligence
Survey propõe estrutura única para adaptação, aprendizado e escala em tempo de inferência, conectando comunidades que hoje trabalham separadas.
EvalDetectBench mede se modelos de IA percebem quando estão sendo avaliados
Benchmark aberto expõe dois vieses que distorcem a medição de consciência de avaliação em LLMs de fronteira e propõe correções.
Estudo usa erros de modelos menores para guiar modelos mais fortes na inferência
Método CritICL usa erros de modelos fracos como guia, aproximando-se de métodos caros com menos tokens.
Estudo sugere que verificação direcionada pode superar mais tentativas em agentes de IA
Método HarnessLens registrou ganhos de 7,6% a 13,6% ao evoluir harnesses de agentes com verificação seletiva.
Método do MIT e da Motional explica decisões de carros autônomos em tempo real e ajuda a prever erros
CW-Net traduz o raciocínio do veículo em conceitos compreensíveis e ajudou motoristas a prever erros em testes reais, revelando falhas como freio…
Alucinações em modelos multimodais têm origem visual, indica estudo
Estudo aponta que parte das alucinações em modelos multimodais nasce da visão, não só da linguagem, e propõe uma correção.
AIM: método faz IA multimodal esquecer identidades sem apagar a visão
Pesquisadores criam técnica de desaprendizado que remove identidades de modelos multimodais preservando a percepção visual. Veja como funciona e as limitações.
BenchMIRT: nova técnica audita o que os benchmarks de LLM realmente medem
Método do Ai2 analisa cada pergunta dos benchmarks para revelar o que está por trás das notas dos modelos.
IA descobre trajetória inédita para nave chegar a Alpha Centauri
Sistema de IA descobre trajetória inédita que pode levar uma nave até Alpha Centauri; missão de US$ 15 milhões quer lançar até…
Hit rate de 26,8% do Claude em proteínas: por que a média esconde o seu caso
Campanha da Anthropic teve 26,8% de acerto médio, mas taxas por alvo variaram de 80% a 0%. A média agregada engana quem…
Treinamento com verificador melhora grounding visual de modelos de IA
Método PointRL treina grounding visual com verificador determinístico e faz modelo 2B saltar de 25% para 56% de acurácia no Point-Bench.
Ataque bit-flip faz modelos Mixture-of-Experts gerarem respostas muito mais longas
Pesquisa aponta que desativar poucos especialistas em modelos Mixture-of-Experts inflou respostas em 5.912%, expondo um possível vetor de ataque.
Modelos de IA financeira têm desempenho desigual entre tarefas de revisão de risco
Estudo com 9.742 instâncias mostra que pontuações amplas não preveem o desempenho em tarefas específicas de compliance e risco.
MulVec lidera benchmarks de busca de imagens sem treino, tratando o pedido por papéis
Sistema divide a consulta em quatro funções — adicionar, manter, remover e alvo completo — e supera comparadores no FashionIQ.
IA que trava cada afirmação à evidência atinge 98,5% de repetibilidade em relatórios
Método vincula números, direção e intensidade de cada afirmação à fonte antes de gerar o texto, reduzindo inconsistências entre execuções.
Robô quadrúpede explora cinco andares subindo escadas em teste real
Sistema RAEM combinou tomografia local e mapas 3D para exploração multi-andar, superando TARE, FAEL e HPHS em simulação e no mundo real.