Quer rodar IA local sem depender de API, mas seu PC não aguenta um modelo convencional de 145 bilhões de parâmetros? O Edge0 usa modelos Mixture of Experts, com carregamento de partes do modelo pelo SSD, para tentar tornar isso possível em hardware de consumidor.

Este guia mostra como instalar o Edge0 no Windows e no Linux, validar a compilação, baixar o modelo certo e abrir uma API local compatível com OpenAI. O caminho de 145B exige GPU NVIDIA e CUDA 13. Para testar a pilha sem essa GPU, o Edge0 35B tem um motor nativo de CPU e Vulkan.

O que mudou e por que vale testar agora

Em novembro de 2026, o Edge0 reuniu seu comando de chat e servidor no edge0-infer. A geração atual de modelos, 120B e 145B, usa o motor edge0-strata. Você não conversa diretamente com esse motor. O comando edge0-infer serve inicia tudo, espera o modelo carregar e abre uma API em 127.0.0.1:8000.

O detalhe importante é o MoE, sigla para mistura de especialistas. Em vez de usar todas as partes do modelo a cada token, ele consulta apenas alguns especialistas. O Edge0 usa isso para deixar parte dos pesos no SSD e trazer o necessário conforme a conversa avança. Isso reduz a barreira de memória, mas não transforma um PC básico em servidor de IA gigante.

✅ O que você ganha e ⚠️ o que você não ganha

✅ O que você ganha

  • Dados locais: prompts e respostas podem ficar no seu computador.
  • API compatível: apps que falam com OpenAI podem apontar para o servidor local.
  • Chat sem mensalidade por token: depois de baixar os pesos, não há cobrança por requisição.
  • Controle de memória: o motor oferece opções para SSD, RAM, VRAM e especialistas residentes.
  • Uma instalação para chat e API: o mesmo binário atende os dois modos.

⚠️ O que você não ganha

  • Instalação de um clique: para o 145B, você compila dois componentes e configura CUDA ou Metal.
  • Compatibilidade universal: os modelos 145B e 120B não rodam no modo CPU puro do Windows ou Linux.
  • Resultado idêntico ao benchmark: velocidade varia com GPU, SSD, RAM, contexto e opções de carregamento.
  • Licença comercial irrestrita: o código é Apache-2.0, mas os modelos Edge0 têm licença própria.

Confira se seu computador entra no jogo

ComponenteMínimo para Edge0 145BRecomendadoAlternativa se não tiver GPU
SistemaWindows 10 1903+ ou LinuxWindows 11 ou Linux recentemacOS Apple Silicon para 145B Q3_K
GPUNVIDIA com 16 GiB de VRAM24 GiB ou maisEdge0 35B no CPU/Vulkan
RAM20 GiB32 GiB ou mais32 GiB ajuda no 35B
DiscoSSD rápido com espaço para o modeloNVMe com folgaNão use HD mecânico
FerramentasGit, CMake, Ninja, Python 3.10+, uvVersões atuaisAs mesmas
Tempo1 a 3 horas, sem contar downloadUma tarde para ajustesMenos para só compilar o 35B
Requisitos declarados pelo Edge0 para o 145B. O mínimo não garante a mesma velocidade dos benchmarks dos autores.

Antes de gastar banda, abra o Prompt de Comando e rode nvidia-smi. Se o comando não existir ou não mostrar sua GPU, pare aqui e instale o driver NVIDIA primeiro. Depois confirme a versão do toolkit com nvcc --version. O caminho do 145B pede CUDA 13, não apenas o driver instalado.

Passo 1: instale as ferramentas no Windows

Use o x64 Native Tools Command Prompt for VS 2022 se seu PC é Intel ou AMD. Ele prepara o compilador MSVC no terminal. Instale Visual Studio 2022 Build Tools com a carga de trabalho “Desktop development with C++”, além de Git, CMake, Ninja, Python 3.10 ou superior e uv.

winget install Git.Git
winget install Kitware.CMake
winget install Ninja-build.Ninja
winget install astral-sh.uv

Esses comandos instalam ferramentas auxiliares. O compilador C++ continua vindo do Visual Studio Build Tools. Feche e abra de novo o prompt de desenvolvedor depois da instalação. Confira:

git --version
cmake --version
ninja --version
python --version
uv --version
nvidia-smi
nvcc --version

Se nvcc não aparecer, instale o CUDA 13 da NVIDIA. Em seguida, confirme que a variável CUDA_PATH aponta para a pasta do toolkit:

echo %CUDA_PATH%

Passo 2: clone o repositório em uma pasta curta

Abra o terminal como usuário normal e escolha um caminho curto. No Windows, isso evita erros de limite de caminho durante builds e shaders.

cd C:src
git clone https://github.com/Edge0-AI/Edge0.git edge0
cd edge0

O repositório tem duas pastas que interessam: edge0-infer, o comando que você usa, e edge0-strata, o motor necessário para 145B e 120B.

Edge0 para rodar modelos locais no PC
O Edge0 separa o comando de uso do motor de inferência dos modelos maiores. Imagem: Edge0.

Passo 3: compile o edge0-infer

Entre na pasta do comando e gere a versão Windows. Mesmo para o 145B, esta parte não precisa compilar CUDA. Ela só inicia o motor Strata e fornece a API local.

cd C:srcedge0edge0-infer
cmake --preset windows
cmake --build --preset windows
buildwindowsbinedge0-infer.exe info

O último comando deve mostrar informações do binário e uma linha para edge0_35b. Isso confirma que o comando foi compilado. Não significa que o 145B está pronto. Ainda falta construir o motor que conversa com sua GPU.

Passo 4: prepare o motor edge0-strata e o CUDA

O Strata usa uma versão fixada do llama.cpp como dependência. A documentação do Edge0 manda baixar exatamente o arquivo indicado, para evitar diferenças silenciosas de compilação.

cd C:srcedge0edge0-strata
mkdir third_partyllama.cpp
curl.exe -L -o third_partyllama-source.tar.gz https://github.com/ggml-org/llama.cpp/archive/3cf03257f219afbe7334045ff7c6a06ac68c627d.tar.gz
tar -xf third_partyllama-source.tar.gz --strip-components=1 -C third_partyllama.cpp

Agora configure a compilação CUDA. A opção native cria kernels para a GPU detectada. Se você compila em um PC e pretende copiar o binário para outro, use uma arquitetura específica em vez de native.

cmake -S . -B build -G Ninja -DCMAKE_BUILD_TYPE=Release ^
  -DCMAKE_CUDA_COMPILER="%CUDA_PATH%binnvcc.exe" ^
  -DCMAKE_CUDA_ARCHITECTURES=native ^
  -DSTRATA_ENABLE_CUDA=ON ^
  -DSTRATA_GGML_DIR="%CD%third_partyllama.cpp"
cmake --build build --target strata

Compile apenas o alvo strata. O repositório contém alvos experimentais que não são necessários para abrir chat ou API. Ao terminar, você deve ter buildstrata.exe.

Crie também o ambiente Python usado pelo servidor do Strata:

uv venv .venv
uv pip install --python ".venvScriptspython.exe" -r requirements.txt

O edge0-infer procura esse Python automaticamente. Se a pasta .venv não existir, a inicialização do 145B falha antes de carregar o modelo.

Passo 5: baixe o modelo e valide os arquivos

Baixe um modelo da coleção Edge0 no Hugging Face. Para Windows com NVIDIA, use uma pasta completa de Edge0-145B-q3k ou Edge0-145B-fp4. Não misture arquivos de formatos diferentes. O diretório precisa conter model.json, experts.bin, dense.bin, profile.bin, tokenizer e a pasta mtp.

Guarde o modelo em SSD local e defina a variável de ambiente na mesma janela do PowerShell:

$env:EDGE0_145B = "D:modelosEdge0-145B-q3k"
C:srcedge0edge0-inferbuildwindowsbinedge0-infer.exe inspect --model $env:EDGE0_145B --json

A saída é JSON. Procure "ok": true. Se faltar arquivo, corrija o download antes de tentar abrir o chat. O Edge0 não converte esse modelo para você. O pacote já precisa chegar completo.

Passo 6: abra o chat local

Volte à pasta do edge0-infer. Para o 145B, use chat, não run. O comando run é reservado ao motor nativo do 35B.

cd C:srcedge0edge0-infer
buildwindowsbinedge0-infer.exe chat --model $env:EDGE0_145B

Na primeira carga, aguarde. O modelo precisa abrir arquivos, preparar cache e iniciar o Strata. Dentro do chat, /new começa conversa nova, /think off desliga o modo de raciocínio, /regen gera de novo e /quit encerra.

Passo 7: transforme o Edge0 em uma API local

Para integrar um app, inicie o servidor em vez do chat:

buildwindowsbinedge0-infer.exe serve --model $env:EDGE0_145B

Espere aparecer Listening: http://127.0.0.1:8000. Mantenha essa janela aberta. Em outro terminal, teste a API:

curl http://127.0.0.1:8000/v1/chat/completions ^
  -H "Content-Type: application/json" ^
  -d "{"model":"edge0_145b","messages":[{"role":"user","content":"Explique MoE em duas frases."}]}"

O servidor aceita também rotas compatíveis com Anthropic. Não exponha a porta 8000 na internet sem autenticação e proxy. O padrão de loopback existe para que apenas o próprio PC acesse o modelo.

Qual modelo escolher?

EscolhaQuando faz sentidoLimite principal
Edge0 145B Q3_KGPU NVIDIA ou Mac Apple Silicon compatível; foco em agente localHardware e download grandes
Edge0 120BQuer modelo maior com perfil diferente de memóriaMesmas exigências de motor e plataforma
Edge0 35BQuer testar o motor nativo em CPU, Metal ou VulkanExige converter pesos e cerca de 42 GB livres
Não escolha pelo número mais alto. Escolha pelo hardware que você consegue manter ligado e pelo tempo de resposta aceitável.

Problemas comuns e como destravar

  • ❌ “cmake não é reconhecido”
    Causa: CMake não está no PATH. Solução: reabra o terminal depois da instalação ou informe o caminho do CMake.
  • ❌ “nvcc não é reconhecido”
    Causa: apenas o driver NVIDIA está instalado. Solução: instale CUDA 13 e confira %CUDA_PATH%binnvcc.exe.
  • ❌ Falta cublas64_13.dll
    Causa: DLLs do CUDA fora do PATH. Solução: rode set "PATH=%CUDA_PATH%bin;%PATH%" e tente de novo.
  • ❌ inspect aponta arquivo ausente
    Causa: download incompleto ou mistura de Q3_K e NVFP4. Solução: baixe novamente a pasta inteira do mesmo formato.
  • ❌ O servidor inicia e a GPU fica sem memória
    Causa: outro processo ocupa VRAM ou a reserva é curta. Solução: feche jogos, navegador com aceleração e ferramentas de GPU; depois reduza contexto ou ajuste a reserva de VRAM.
  • ❌ O PC fica lento durante a resposta
    Causa: SSD, RAM e CPU participam do carregamento dos especialistas. Solução: use NVMe, reduza o contexto e não rode tarefas pesadas junto.

Quatro usos que fazem sentido

  • Assistente interno: ligue a API local a documentos que não podem sair da empresa.
  • Programação offline: use um cliente compatível com OpenAI para revisar código em uma rede isolada.
  • Laboratório de agentes: teste automações e prompts sem pagar cada rodada de depuração.
  • Serviço de casa: mantenha o servidor preso ao seu PC e use-o em aplicativos locais via 127.0.0.1.
Demonstração do Edge0 publicada pelos autores do projeto.

Perguntas frequentes

Preciso de uma RTX 5090?

Não. O projeto informa mínimo de 16 GiB de VRAM e 20 GiB de RAM para 145B e 120B, mas o desempenho divulgado em RTX 5090 D não se transfere automaticamente a outras placas.

Funciona em PC sem NVIDIA?

Para 145B e 120B, Windows e Linux pedem NVIDIA com CUDA 13. O Edge0 35B pode rodar no motor nativo em CPU ou Vulkan no Windows.

Posso usar o modelo no VS Code?

Sim, se a extensão aceitar endpoint compatível com OpenAI. Aponte a URL para http://127.0.0.1:8000/v1 e use o nome edge0_145b.

O modelo fica privado?

O processamento pode ficar local, mas privacidade depende da sua configuração. Não exponha o servidor em rede pública e proteja arquivos, logs e usuários do computador.

Posso vender uma API baseada no Edge0?

Leia a licença do modelo antes. O código do framework é Apache-2.0, mas a licença dos modelos restringe serviços comerciais de inferência e algumas ofertas sem autorização separada.

Rodar modelos grandes em PC deixou de ser só uma questão de VRAM. O Edge0 mostra que SSD, RAM, roteamento e software podem trabalhar juntos. Ainda é uma instalação para quem topa administrar infraestrutura, mas é um bom sinal de que modelos locais maiores estão saindo do laboratório.



Descubra mais sobre noticiAI

Assine para receber nossas notícias mais recentes por e-mail.

1 comentário

Deixe seu comentário