oMLX: auditando a promessa de cortar latência de agentes de 90s para 5s

Uma promessa de 18x

O lançamento do oMLX — um servidor de código aberto que roda LLMs localmente em Macs sobre o stack MLX da Apple — faz uma promessa ousada: reduzir o tempo de espera de agentes de 90 segundos para 5 segundos, um ganho de 18x entregue por um laptop. O problema é que ninguém publicou a metodologia por trás do número: não há modelo, nem quantização, nem chip, nem descrição do que o agente estava fazendo. A latência de um agente de LLM empilha quatro custos separáveis — carregamento do modelo, prefill do prompt, decodificação e viagens de ida e volta na rede — e um servidor local quente só elimina alguns deles.

Onde o tempo de espera realmente vai

O carregamento frio transfere os pesos quantizados do disco para a memória unificada: um modelo 8B em 4 bits ocupa de 4 a 5 GB, e os de classe 70B chegam a dezenas de GB — segundos a dezenas de segundos. Um servidor quente elimina isso. O prefill reprocessa toda a conversa a cada turno (prompt do sistema, esquemas de ferramentas, turnos anteriores) e cresce com o comprimento do contexto: um histórico de 50 mil tokens custa mais de 30 segundos por turno. A decodificação é limitada pela largura de banda de memória, que nos chips M-series vai de ~120 GB/s (básico) a algumas centenas de GB/s (Max/Ultra) — longe dos terabytes por segundo das GPUs de data center. E as viagens de ida e volta pagam rede, TLS e filas do provedor, que o localhost elimina.

Cinco cenários mostram quando o 18x se sustenta

A conta só fecha quando a linha de base da API é dominada por cold start e fila: ~80 segundos de partida fria mais 10 segundos de inferência contra um Mac quente que faz ~5 segundos (prefill de 1k tokens mais ~4 segundos para decodificar 150 tokens a 40 tok/s). Em regime permanente, o jogo vira. Um loop de dez turnos com 2k de contexto e 300 tokens por turno custa ~38 segundos na API e ~88 segundos no local — o Mac fica mais de 2x mais lento, sem nenhuma rede no caminho. Com contexto de 50 mil tokens, a desvantagem local chega a ~8x, dominada pelo prefill. O 18x é, na melhor leitura, uma história sobre cold starts contada na linguagem da velocidade.

Como medir no seu Mac (e o veredito)

O protocolo proposto cabe em uma tarde: fixe a carga de trabalho (escada de contexto de 500, 4k, 16k e 64 mil tokens, saída fixa de 256 tokens, temperatura zero); meça frio e quente; capture TTFT e latência entre tokens via cliente com streaming; calcule a taxa de decodificação; e rode um loop de ferramentas de ponta a ponta com cinco chamadas. Registre chip, RAM, modelo, quantização e comprimento de contexto — sem esses campos, o número não se compara a nada. Laptops reduzem o clock com o calor, então repita as medições e mantenha a máquina na tomada.

O oMLX comprovadamente elimina cold load em loops contínuos, remove fila do provedor e viagens de rede, e mantém todos os tokens no seu lado — uma vitória real para loops curtos, de agente único, sensíveis a latência e privacidade. O que permanece sem verificação é a própria linha de base de 90 segundos. Adote para ferramentas interativas de agente único; teste antes em contextos médios (8k a 32k) e loops pesados em ferramentas; e pule, por ora, para trabalho de contexto longo, fan-out de múltiplos agentes e qualquer tarefa que exija modelos de fronteira.