Decodificação especulativa no vLLM: um guia prático de configuração e decisão
Guia prático sobre decodificação especulativa no vLLM: como escolher o modelo draft, calcular o custo de VRAM, entender o impacto da temperatura…
Tag: gpu
33 publicações encontradas
Acelere o design de proteínas com BoltzGen no Amazon SageMaker AI
O design de proteínas é um processo intensivo em computação, especialmente quando se busca gerar milhares de candidatos a ligantes. O BoltzGen,…
Outpost VFX acelera treinamento de IA para efeitos visuais com AWS e alcança ganho de 8x
A Outpost VFX, estúdio de efeitos visuais com operações no Reino Unido, Canadá e Índia, conseguiu reduzir o tempo de treinamento de…
Stack de inferência da NVIDIA reduz custo por token em 5x no Blackwell com DeepSeek V4
Stack de inferência da NVIDIA reduz custo por token em 5x na plataforma Blackwell. Baseten, Cognition, Deep Infra e Together AI já…
MoonMath AI lança kernel de atenção open-source para AMD MI300X que supera AITER v3 em todos os cenários
MoonMath AI lança kernel de atenção open-source para AMD MI300X que supera o AITER v3 em todos os cenários Um time de…
NVIDIA Blackwell domina MLPerf Training 6.0 com recordes em todos os benchmarks
A NVIDIA acaba de varrer o MLPerf Training 6.0 , o principal benchmark da indústria para treinamento de modelos de IA. A…
Flash-KMeans: Implementação Exata de K-Means Roda 200× Mais Rápido que FAISS em GPUs
Pesquisadores acabam de lançar o Flash-KMeans , uma implementação exata do algoritmo k-means de Lloyd que roda mais de 200× mais rápido…
AWS acelera carregamento de modelos LLM e amplia janelas de contexto com GPUDirect e Amazon FSx for Lustre
Para quem trabalha com grandes modelos de linguagem (LLMs) em instâncias GPU da AWS, o tempo de carregamento do modelo na memória…
AWS lança Capacity Blocks para ML e planos de treinamento SageMaker para garantir capacidade GPU de curto prazo com descontos
Novas soluções da AWS para garantir capacidade GPU de curto prazo para workloads de Machine Learning A crescente demanda por GPUs para…
Amazon SageMaker AI lança fallback automático de instâncias para endpoints com pool de capacidade inteligente
A Amazon Web Services (AWS) anunciou uma novidade importante para usuários do Amazon SageMaker AI: a introdução do recurso capacity aware instance…
Hardware Inovador Transforma Zeros em Aliados para IA Mais Rápida e Eficiente
O desafio dos modelos de IA em larga escala Os modelos de inteligência artificial (IA) têm crescido rapidamente em tamanho e complexidade.…
Meta fecha acordo para uso de milhões de CPUs Graviton da Amazon e redefine a corrida por chips de IA
Meta aposta em CPUs ARM da Amazon para impulsionar suas demandas em IA A Meta firmou um acordo significativo com a Amazon…
Caçadores de galáxias com IA intensificam a escassez global de GPUs
Demanda crescente por GPUs na astronomia impulsionada por telescópios espaciais A NASA anunciou o lançamento antecipado do telescópio espacial Nancy…
Transcrição Multilíngue de Áudio em Grande Escala com Parakeet-TDT e AWS Batch: Eficiência e Redução de Custos
Transcrição automática de áudio com custo reduzido e alta escala Empresas que gerenciam grandes bibliotecas de mídia, analisam gravações de centrais…
Allbirds abandona calçados e aposta em infraestrutura de IA com investimento de US$ 50 milhões
De marca de calçados a provedor de serviços de IA: a transformação da Allbirds A tradicional empresa de calçados Allbirds, conhecida por…
Amazon SageMaker HyperPod: nova plataforma para inferência escalável e econômica em IA generativa
Amazon SageMaker HyperPod: inovação para inferência em IA generativa A AWS lançou o Amazon SageMaker HyperPod, uma solução completa para executar…
Novo chip da UC San Diego promete reduzir desperdício energético em data centers
Pesquisadores da Universidade da Califórnia em San Diego (UC San Diego) desenvolveram um novo chip que pode revolucionar a eficiência energética dos…
Waypoint-1.5: Mundos Interativos de Alta Fidelidade para GPUs Comuns
A Hugging Face, por meio do projeto Overworld, lançou o Waypoint-1.5, uma evolução significativa em modelos de vídeo gerativos em tempo real…
CoreWeave aposta na inferência para expandir seu papel no mercado de neoclouds
A CoreWeave, empresa inicialmente focada em GPU-as-a-service e com forte ligação à Nvidia, está passando por uma nova transformação estratégica ao…
Centros de Dados Modulares para IA: A Revolução que Cabe em um Caminhão
Desafios dos data centers tradicionais para IA Os data centers convencionais protegem seus equipamentos caros por meio de estruturas robustas de aço…
ScaleOps capta US$ 130 milhões para otimizar infraestrutura em nuvem diante da crescente demanda por IA
Contexto do investimento e desafio do mercado de IA O crescimento acelerado da inteligência artificial tem impulsionado uma demanda sem precedentes…
Como reservar capacidade GPU para endpoints de inferência no SageMaker usando planos de treinamento
Introdução à reserva de capacidade GPU para inferência no SageMaker Executar inferência com grandes modelos de linguagem (LLMs) exige capacidade GPU…
AWS e NVIDIA ampliam parceria para acelerar a implantação de IA em produção
Durante o evento NVIDIA GTC 2026, a Amazon Web Services (AWS) e a NVIDIA anunciaram uma expansão significativa na sua colaboração estratégica,…
Amazon SageMaker lança métricas aprimoradas para monitoramento detalhado de endpoints de IA
A Amazon Web Services (AWS) anunciou uma atualização importante para o Amazon SageMaker AI Endpoints: o lançamento das métricas aprimoradas com…