7 técnicas para treinar LLMs em hardware limitado sem estourar a memória

As leis de escala ditam que o pré-treinamento ou o fine-tuning completo de modelos fundacionais de bilhões de parâmetros exige clusters de H100 ligados por interconexões InfiniBand. Na prática, porém, times de engenharia de machine learning costumam estar restritos a hardware local com orçamento limitado: GPUs de workstation duplas ou quádruplas (como RTX 4090, A10G ou L40S), limitadas por banda PCIe de consumo e tetos de VRAM de 24 GB a 48 GB por dispositivo.

Onde a memória se esgota

A abordagem ingênua — inicializar um modelo de 16 bits com otimizadores AdamW padrão — falha já no primeiro passo. Um modelo de 7 bilhões de parâmetros em FP16/BF16 ocupa 14 GB de VRAM só em pesos estáticos. Some os estados do AdamW (cerca de 56 GB para um 7B), os gradientes (14 GB) e a memória de ativação que escala com o tamanho do contexto, e o erro de falta de memória acontece antes do passo 1.

Para treinar sob restrições, é preciso separar a memória estática (pesos, estados do otimizador, gradientes persistentes) da memória dinâmica (ativações e buffers temporários), e identificar se o gargalo é de computação ou de banda de memória.

As sete técnicas

1. QLoRA e DoRA

Congela os pesos do modelo em uma representação de 4 bits (NormalFloat/NF4) e injeta matrizes treináveis de baixa ordem e precisão total. O DoRA separa magnitude de direção para espelhar melhor o fine-tuning completo. Custo: a dequantização sob demanda reduz a taxa de treinamento (TPS) em 20% a 35%.

2. GaLore

Projeta gradientes de alta dimensão em um subespaço de baixa ordem, cortando a memória do estado do otimizador sem congelar camadas. Custo: as fatorações SVD periódicas causam picos de latência, e a escolha de hiperparâmetros é sensível.

3. FSDP / ZeRO-3 com offloading para CPU

Distribui estados do otimizador, gradientes e parâmetros entre VRAM e RAM do sistema, paginando tensores pela PCIe sob demanda. Custo: o offloading por PCIe Gen4/Gen5 cria gargalos de I/O que podem derrubar a utilização da GPU para menos de 30%.

4. Checkpointing de ativações seletivo

Descarta ativações que ocupam muita memória no forward e as recalcula no backward. Custo: cerca de 30% a mais de FLOPs por passo e risco de fragmentação de memória CUDA se feito sem perfil.

5. FlashAttention-2 e kernels fundidos

Reestrutura a atenção para rodar dentro da SRAM on-chip, sem escrever a matriz N×N completa na HBM. Kernels fundidos combinam LayerNorm e ativações em um único lançamento CUDA. Custo: acoplamento forte a microarquiteturas específicas e possíveis incompatibilidades de ABI.

6. Precisão mista com FP8

Usa E4M3 para ativações/pesos e E5M2 para gradientes, cortando banda e buffers pela metade. Custo: faixa dinâmica estreita pode causar divergência sem escalonamento cuidadoso; exige hardware Ada Lovelace/Hopper ou mais novo.

7. RingAttention sobre interconexões comuns

Distribui contextos ultralongos entre dispositivos em topologia de anel, sobrepondo comunicação e computação. Custo: em PCIe ou rede de 1/10 GbE, a latência pode dominar o tempo de computação para lotes pequenos.

Conclusão

Treinar LLMs em hardware limitado é, no fim, uma questão de gerenciamento da hierarquia de memória, não de força bruta computacional. Ao desacoplar a precisão dos pesos, o rastreamento de estado do otimizador e a persistência de ativações — via QLoRA, GaLore e FlashAttention-2 — times de engenharia conseguem se aproximar da convergência de clusters corporativos por uma fração do custo.

Operações longas de treinamento em hardware restrito também vão expor modos de falha silenciosos que benchmarks não capturam: comportamento não determinístico de kernels CUDA entre versões de driver, throttling térmico em hardware de consumo sob carga sustentada e corrupção de checkpoint por gargalos de I/O assíncrono. Pipelines de produção precisam de monitoramento contínuo de métricas — taxas de underflow de ponto flutuante, utilização do barramento PCIe e verificação automática de gradientes — para evitar centenas de horas de computação desperdiçadas.