Quanto custa rodar um LLM local? O benchmark que mediu em euros por milhão de tokens

O custo real de rodar um LLM local: medição em euros por milhão de tokens

“Roda na minha GPU, então é basicamente grátis.” É o tipo de afirmação que parece verdadeira — até alguém medir. E foi exatamente isso que Arsen Apostolov fez: mediu o consumo real de energia de oito modelos locais em uma única RTX 3090 (24 GB), com amostragem de potência via nvidia-smi a cada 10 segundos e tarifa de eletricidade real (lev búlgaro, convertido para euro).

O resultado: cinco dos oito modelos saíram mais baratos que APIs cloud hospedadas. Três não saíram — e não são os três que você esperaria pelo número de parâmetros.

Como foi medida a economia real

O benchmark usou três modelos Gemma servidos pelo Ollama com quantização Q4_K_M — gemma3:1b, gemma4:26b e gemma3:27b — cada um submetido à mesma carga de trabalho fixa (loop de 256 tokens por ~240 segundos). Outros cinco modelos foram medidos em um benchmark separado de agentes de codificação multi-etapas na mesma máquina.

A ferramenta de medição foi o HomeLab Monitor, um dashboard open source (MIT) que integra a potência da GPU ao longo da janela exata de execução e multiplica pela tarifa configurada. O cálculo final:

€ por 1M tokens = (custo_da_execucao_BGN × 0.5113) ÷ (tokens_gerados / 1.000.000)

Os números que surpreendem

A referência cloud usada foi APIs “Flash” (Gemini 2.5 Flash, GPT-4o-mini), que custam aproximadamente US$ 0,60 por milhão de tokens de saída (~€ 0,55). O tier mais barato (Gemini 3.1 Flash-Lite) fica em torno de US$ 0,40.

Cinco modelos locais ficaram abaixo desse valor. Três ficaram acima — e o mais caro de todos não foi o maior:

• gemma3:1b: o mais rápido (136 tok/s) e com menor consumo (154W) — mais barato de todos
• DeepSeek-R1-Distill (32.8B): € 1,526/1M — o mais caro da lista, apesar de consumir apenas 155W. O motivo? Passa a maior parte do tempo deliberando entre gerações, com throughput efetivo de apenas 3,7 tok/s
• GLM-4.5-Air (106B): € 1,040/1M — caro, mas previsível pelo tamanho

A variável que importa não é o número de parâmetros — é a velocidade efetiva de entrega de tokens por segundo de wall-clock. Um modelo que “pensa” muito entre gerações paga por cada segundo que segura a placa.

Como reproduzir o benchmark na sua máquina

O autor disponibilizou o passo a passo completo usando Docker e Python stdlib:

1. Suba o monitor (um container)

COMPOSE_URL=https://raw.githubusercontent.com/SikamikanikoBG/homelab-monitor/main/docker-compose.yml
curl -fsSLO "$COMPOSE_URL"
docker compose up -d

2. Gere uma chave de ingestão

Settings → Integrations → Create key. A chave (hlm_…) aparece uma única vez.

3. Execute o benchmark com Ollama

import json, time, urllib.request

OLLAMA = "http://localhost:11434"

def ollama_generate(model, prompt):
    body = json.dumps({
        "model": model, "prompt": prompt, "stream": False,
        "options": {"num_predict": 256, "temperature": 0.7},
    }).encode()
    req = urllib.request.Request(OLLAMA + "/api/generate", data=body,
                                 headers={"Content-Type": "application/json"})
    with urllib.request.urlopen(req, timeout=600) as resp:
        return json.loads(resp.read())

O que este estudo NÃO mede

O autor é transparente sobre as limitações:

• É apenas o custo marginal de energia da GPU — não inclui CPU, DRAM, refrigeração, nem o preço de compra da placa
• O custo real do hardware local está na GPU que você comprou, não nos watts. Uma 3090 só se paga com uso alto e constante
• Uma GPU, um motor (Ollama), pesos quantizados GGUF. Sua placa, tarifa e configuração mudam todos os números
• Dois métodos de medição diferentes foram usados (benchmark dedicado vs. benchmark de agente de codificação)

Por que isso importa agora

Com a popularização de modelos abertos cada vez mais capazes (Gemma 4, Qwen 3, DeepSeek) e placas como a RTX 3090 usadas caindo de preço, a pergunta “rodo local ou pago API?” deixou de ser filosófica para ser econômica. Este estudo mostra que a resposta depende mais da velocidade efetiva do modelo do que do seu tamanho — e que medir é mais fácil do que parece.

Da próxima vez que você escolher o modelo local em vez da API, você sabe seu número de euros por milhão de tokens — ou está, como a maioria de nós, apenas assumindo que a GPU torna tudo grátis?