ShardMeter prevê tempo e custo de treinamento distribuído com erro abaixo de 15%

ShardMeter: modelo prevê tempo e custo do treinamento distribuído de IA com erro médio abaixo de 15%

Um pré-print no arXiv apresenta o ShardMeter, um modelo leve desenhado para estimar quanto tempo um treinamento de transformers vai demorar, quanta carga cada GPU ou “ilha” de treinamento consegue entregar, quanto o processo vai custar e onde os gargalos tendem a aparecer. O trabalho — ainda não revisado por pares — reporta erro de predição mediano abaixo de 15% na maioria dos cenários avaliados.

Um mapa de toda a execução

O ShardMeter cobre treinamento sharded, distribuído e descentralizado. Os resultados-alvo incluem tempo de execução de ponta a ponta, vazão por GPU e por ilha, tempo de relógio de parede, custo monetário e a localização do gargalo — tudo a partir de características do modelo e do hardware como entrada.

Para chegar a essas estimativas, o modelo usa regressões para os custos das operações de computação e de comunicação. As predições são montadas em grafos de execução que registram dependências e possíveis sobreposições, permitindo uma análise de caminho crítico — ou seja, identificar exatamente qual etapa controla o tempo total da iteração de treinamento.

Como foi calibrado

O catálogo de benchmarks foi construído com até 200 configurações, definidas a partir de valores observados de modelos de linguagem. Para computação, os pesquisadores variaram hiperparâmetros-chave, rodaram 10 iterações por configuração e extraíram tempos de execução do PyTorch Profiler. Para comunicação, mediram operações coletivas dentro e entre nós, com cargas de 1 a 150 MiB.

Os experimentos usaram GPUs A100 de 80 GB: estação de trabalho com quatro delas nos testes de nó único, e nós com quatro A100 e quatro placas InfiniBand HDR-200 nos testes distribuídos. A validação de computação cobriu cinco cargas nomeadas — SmoLM 360M, Llama 3.2 1B, Phi-1.5 1.3B, Gemma 2B e Yi 6B.

Erros por operação

Na comunicação, o erro percentual absoluto médio (MAPE) foi de 14,99% para all_gather, 13,1% para reduce_scatter e 2,14% para all_reduce. Na computação, o erro variou mais por caso — de 5% a 29% de MAPE — mas o erro mediano ficou abaixo de 13% para cada operação e dispositivo-alvo no conjunto avaliado.

Por que isso importa

Treinamento distribuído de modelos de linguagem é notoriamente caro e difícil de prever. Erros de estimativa se traduzem em orçamentos estourados, clusters subutilizados ou compras de hardware desproporcionais. Uma ferramenta que antecipa custo, tempo e gargalo antes de reservar centenas de horas de GPU tem valor prático imediato para equipes de infraestrutura de ML.

A ressalva é que os resultados são de um pré-print e foram calibrados em um conjunto específico de hardware (A100). Generalizar para GPUs mais recentes — como H100 ou B200 — exigiria re-medições. Ainda assim, a abordagem de modelar computação e comunicação separadamente e montar um grafo de dependências é metodologicamente sólida e aponta na direção certa para quem precisa de planejamento de capacidade. O artigo completo está no arXiv (ID 2608.23840).