Quer rodar IA local sem depender de API, mas seu PC não aguenta um modelo convencional de 145 bilhões de parâmetros? O Edge0 usa modelos Mixture of Experts, com carregamento de partes do modelo pelo SSD, para tentar tornar isso possível em hardware de consumidor.
Este guia mostra como instalar o Edge0 no Windows e no Linux, validar a compilação, baixar o modelo certo e abrir uma API local compatível com OpenAI. O caminho de 145B exige GPU NVIDIA e CUDA 13. Para testar a pilha sem essa GPU, o Edge0 35B tem um motor nativo de CPU e Vulkan.
O que mudou e por que vale testar agora
Em novembro de 2026, o Edge0 reuniu seu comando de chat e servidor no edge0-infer. A geração atual de modelos, 120B e 145B, usa o motor edge0-strata. Você não conversa diretamente com esse motor. O comando edge0-infer serve inicia tudo, espera o modelo carregar e abre uma API em 127.0.0.1:8000.
O detalhe importante é o MoE, sigla para mistura de especialistas. Em vez de usar todas as partes do modelo a cada token, ele consulta apenas alguns especialistas. O Edge0 usa isso para deixar parte dos pesos no SSD e trazer o necessário conforme a conversa avança. Isso reduz a barreira de memória, mas não transforma um PC básico em servidor de IA gigante.
✅ O que você ganha e ⚠️ o que você não ganha
✅ O que você ganha
- Dados locais: prompts e respostas podem ficar no seu computador.
- API compatível: apps que falam com OpenAI podem apontar para o servidor local.
- Chat sem mensalidade por token: depois de baixar os pesos, não há cobrança por requisição.
- Controle de memória: o motor oferece opções para SSD, RAM, VRAM e especialistas residentes.
- Uma instalação para chat e API: o mesmo binário atende os dois modos.
⚠️ O que você não ganha
- Instalação de um clique: para o 145B, você compila dois componentes e configura CUDA ou Metal.
- Compatibilidade universal: os modelos 145B e 120B não rodam no modo CPU puro do Windows ou Linux.
- Resultado idêntico ao benchmark: velocidade varia com GPU, SSD, RAM, contexto e opções de carregamento.
- Licença comercial irrestrita: o código é Apache-2.0, mas os modelos Edge0 têm licença própria.
Confira se seu computador entra no jogo
| Componente | Mínimo para Edge0 145B | Recomendado | Alternativa se não tiver GPU |
|---|---|---|---|
| Sistema | Windows 10 1903+ ou Linux | Windows 11 ou Linux recente | macOS Apple Silicon para 145B Q3_K |
| GPU | NVIDIA com 16 GiB de VRAM | 24 GiB ou mais | Edge0 35B no CPU/Vulkan |
| RAM | 20 GiB | 32 GiB ou mais | 32 GiB ajuda no 35B |
| Disco | SSD rápido com espaço para o modelo | NVMe com folga | Não use HD mecânico |
| Ferramentas | Git, CMake, Ninja, Python 3.10+, uv | Versões atuais | As mesmas |
| Tempo | 1 a 3 horas, sem contar download | Uma tarde para ajustes | Menos para só compilar o 35B |
Antes de gastar banda, abra o Prompt de Comando e rode nvidia-smi. Se o comando não existir ou não mostrar sua GPU, pare aqui e instale o driver NVIDIA primeiro. Depois confirme a versão do toolkit com nvcc --version. O caminho do 145B pede CUDA 13, não apenas o driver instalado.
Passo 1: instale as ferramentas no Windows
Use o x64 Native Tools Command Prompt for VS 2022 se seu PC é Intel ou AMD. Ele prepara o compilador MSVC no terminal. Instale Visual Studio 2022 Build Tools com a carga de trabalho “Desktop development with C++”, além de Git, CMake, Ninja, Python 3.10 ou superior e uv.
winget install Git.Git
winget install Kitware.CMake
winget install Ninja-build.Ninja
winget install astral-sh.uv
Esses comandos instalam ferramentas auxiliares. O compilador C++ continua vindo do Visual Studio Build Tools. Feche e abra de novo o prompt de desenvolvedor depois da instalação. Confira:
git --version
cmake --version
ninja --version
python --version
uv --version
nvidia-smi
nvcc --version
Se nvcc não aparecer, instale o CUDA 13 da NVIDIA. Em seguida, confirme que a variável CUDA_PATH aponta para a pasta do toolkit:
echo %CUDA_PATH%
Passo 2: clone o repositório em uma pasta curta
Abra o terminal como usuário normal e escolha um caminho curto. No Windows, isso evita erros de limite de caminho durante builds e shaders.
cd C:src
git clone https://github.com/Edge0-AI/Edge0.git edge0
cd edge0
O repositório tem duas pastas que interessam: edge0-infer, o comando que você usa, e edge0-strata, o motor necessário para 145B e 120B.

Passo 3: compile o edge0-infer
Entre na pasta do comando e gere a versão Windows. Mesmo para o 145B, esta parte não precisa compilar CUDA. Ela só inicia o motor Strata e fornece a API local.
cd C:srcedge0edge0-infer
cmake --preset windows
cmake --build --preset windows
buildwindowsbinedge0-infer.exe info
O último comando deve mostrar informações do binário e uma linha para edge0_35b. Isso confirma que o comando foi compilado. Não significa que o 145B está pronto. Ainda falta construir o motor que conversa com sua GPU.
Passo 4: prepare o motor edge0-strata e o CUDA
O Strata usa uma versão fixada do llama.cpp como dependência. A documentação do Edge0 manda baixar exatamente o arquivo indicado, para evitar diferenças silenciosas de compilação.
cd C:srcedge0edge0-strata
mkdir third_partyllama.cpp
curl.exe -L -o third_partyllama-source.tar.gz https://github.com/ggml-org/llama.cpp/archive/3cf03257f219afbe7334045ff7c6a06ac68c627d.tar.gz
tar -xf third_partyllama-source.tar.gz --strip-components=1 -C third_partyllama.cpp
Agora configure a compilação CUDA. A opção native cria kernels para a GPU detectada. Se você compila em um PC e pretende copiar o binário para outro, use uma arquitetura específica em vez de native.
cmake -S . -B build -G Ninja -DCMAKE_BUILD_TYPE=Release ^
-DCMAKE_CUDA_COMPILER="%CUDA_PATH%binnvcc.exe" ^
-DCMAKE_CUDA_ARCHITECTURES=native ^
-DSTRATA_ENABLE_CUDA=ON ^
-DSTRATA_GGML_DIR="%CD%third_partyllama.cpp"
cmake --build build --target strata
Compile apenas o alvo strata. O repositório contém alvos experimentais que não são necessários para abrir chat ou API. Ao terminar, você deve ter buildstrata.exe.
Crie também o ambiente Python usado pelo servidor do Strata:
uv venv .venv
uv pip install --python ".venvScriptspython.exe" -r requirements.txt
O edge0-infer procura esse Python automaticamente. Se a pasta .venv não existir, a inicialização do 145B falha antes de carregar o modelo.
Passo 5: baixe o modelo e valide os arquivos
Baixe um modelo da coleção Edge0 no Hugging Face. Para Windows com NVIDIA, use uma pasta completa de Edge0-145B-q3k ou Edge0-145B-fp4. Não misture arquivos de formatos diferentes. O diretório precisa conter model.json, experts.bin, dense.bin, profile.bin, tokenizer e a pasta mtp.
Guarde o modelo em SSD local e defina a variável de ambiente na mesma janela do PowerShell:
$env:EDGE0_145B = "D:modelosEdge0-145B-q3k"
C:srcedge0edge0-inferbuildwindowsbinedge0-infer.exe inspect --model $env:EDGE0_145B --json
A saída é JSON. Procure "ok": true. Se faltar arquivo, corrija o download antes de tentar abrir o chat. O Edge0 não converte esse modelo para você. O pacote já precisa chegar completo.
Passo 6: abra o chat local
Volte à pasta do edge0-infer. Para o 145B, use chat, não run. O comando run é reservado ao motor nativo do 35B.
cd C:srcedge0edge0-infer
buildwindowsbinedge0-infer.exe chat --model $env:EDGE0_145B
Na primeira carga, aguarde. O modelo precisa abrir arquivos, preparar cache e iniciar o Strata. Dentro do chat, /new começa conversa nova, /think off desliga o modo de raciocínio, /regen gera de novo e /quit encerra.
Passo 7: transforme o Edge0 em uma API local
Para integrar um app, inicie o servidor em vez do chat:
buildwindowsbinedge0-infer.exe serve --model $env:EDGE0_145B
Espere aparecer Listening: http://127.0.0.1:8000. Mantenha essa janela aberta. Em outro terminal, teste a API:
curl http://127.0.0.1:8000/v1/chat/completions ^
-H "Content-Type: application/json" ^
-d "{"model":"edge0_145b","messages":[{"role":"user","content":"Explique MoE em duas frases."}]}"
O servidor aceita também rotas compatíveis com Anthropic. Não exponha a porta 8000 na internet sem autenticação e proxy. O padrão de loopback existe para que apenas o próprio PC acesse o modelo.
Qual modelo escolher?
| Escolha | Quando faz sentido | Limite principal |
|---|---|---|
| Edge0 145B Q3_K | GPU NVIDIA ou Mac Apple Silicon compatível; foco em agente local | Hardware e download grandes |
| Edge0 120B | Quer modelo maior com perfil diferente de memória | Mesmas exigências de motor e plataforma |
| Edge0 35B | Quer testar o motor nativo em CPU, Metal ou Vulkan | Exige converter pesos e cerca de 42 GB livres |
Problemas comuns e como destravar
- ❌ “cmake não é reconhecido”
Causa: CMake não está no PATH. Solução: reabra o terminal depois da instalação ou informe o caminho do CMake. - ❌ “nvcc não é reconhecido”
Causa: apenas o driver NVIDIA está instalado. Solução: instale CUDA 13 e confira%CUDA_PATH%binnvcc.exe. - ❌ Falta
cublas64_13.dll
Causa: DLLs do CUDA fora do PATH. Solução: rodeset "PATH=%CUDA_PATH%bin;%PATH%"e tente de novo. - ❌
inspectaponta arquivo ausente
Causa: download incompleto ou mistura de Q3_K e NVFP4. Solução: baixe novamente a pasta inteira do mesmo formato. - ❌ O servidor inicia e a GPU fica sem memória
Causa: outro processo ocupa VRAM ou a reserva é curta. Solução: feche jogos, navegador com aceleração e ferramentas de GPU; depois reduza contexto ou ajuste a reserva de VRAM. - ❌ O PC fica lento durante a resposta
Causa: SSD, RAM e CPU participam do carregamento dos especialistas. Solução: use NVMe, reduza o contexto e não rode tarefas pesadas junto.
Quatro usos que fazem sentido
- Assistente interno: ligue a API local a documentos que não podem sair da empresa.
- Programação offline: use um cliente compatível com OpenAI para revisar código em uma rede isolada.
- Laboratório de agentes: teste automações e prompts sem pagar cada rodada de depuração.
- Serviço de casa: mantenha o servidor preso ao seu PC e use-o em aplicativos locais via
127.0.0.1.
Perguntas frequentes
Preciso de uma RTX 5090?
Não. O projeto informa mínimo de 16 GiB de VRAM e 20 GiB de RAM para 145B e 120B, mas o desempenho divulgado em RTX 5090 D não se transfere automaticamente a outras placas.
Funciona em PC sem NVIDIA?
Para 145B e 120B, Windows e Linux pedem NVIDIA com CUDA 13. O Edge0 35B pode rodar no motor nativo em CPU ou Vulkan no Windows.
Posso usar o modelo no VS Code?
Sim, se a extensão aceitar endpoint compatível com OpenAI. Aponte a URL para http://127.0.0.1:8000/v1 e use o nome edge0_145b.
O modelo fica privado?
O processamento pode ficar local, mas privacidade depende da sua configuração. Não exponha o servidor em rede pública e proteja arquivos, logs e usuários do computador.
Posso vender uma API baseada no Edge0?
Leia a licença do modelo antes. O código do framework é Apache-2.0, mas a licença dos modelos restringe serviços comerciais de inferência e algumas ofertas sem autorização separada.
Rodar modelos grandes em PC deixou de ser só uma questão de VRAM. O Edge0 mostra que SSD, RAM, roteamento e software podem trabalhar juntos. Ainda é uma instalação para quem topa administrar infraestrutura, mas é um bom sinal de que modelos locais maiores estão saindo do laboratório.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.

1 comentário