O repositório kimi-k3-in-c não torna um modelo de 2,78 trilhões de parâmetros “leve”. Ele propõe outra troca: manter pouco peso na RAM e buscar o restante no armazenamento a cada etapa de geração. O autor relata um pico de 8,24 GB de memória para executar o Kimi K3 em CPU, sem GPU, mas o preço é concreto: o checkpoint ocupa 1,56 TB, o disco precisa ser rápido e a configuração de 8 GB registrada pelo projeto levou 32,69 segundos por token.

O projeto é uma implementação de inferência em C99, distribuída sob licença Apache 2.0, sem BLAS, framework de IA ou GPU. Ele não disponibiliza os pesos do modelo: funciona como um motor que lê o checkpoint compatível, reorganiza parte dele e faz streaming das partes que não cabem na memória.

Diagrama da arquitetura do kimi-k3-in-c, com uma parte do modelo residente em memória e especialistas lidos do disco
O desenho central do projeto: uma parcela do modelo fica residente; o restante é buscado no armazenamento conforme a geração avança. Imagem: FareedKhan-dev/kimi-k3-in-c.

O que o projeto faz — e o que ele não faz

O kimi-k3-in-c é um runtime de inferência, não um novo modelo nem uma quantização milagrosa que reduza permanentemente um arquivo de 1,56 TB a 8 GB. A proposta é explorar a arquitetura mixture of experts (MoE): segundo a documentação do repositório, cada token aciona 16 especialistas entre 896 candidatos em cada camada MoE. Em vez de carregar todos esses especialistas na RAM, o motor busca no disco apenas os blocos necessários.

Há também uma parte densa do modelo, chamada de trunk pelo projeto. Essa parte pode ficar parcialmente residente ou ser empacotada para streaming. A memória, portanto, vira uma regulagem entre espaço para camadas do trunk e cache de especialistas. Mais RAM reduz leitura de disco e melhora a velocidade; não altera, na tese do projeto, os cálculos nem o texto produzido pelo mesmo prompt.

Isso explica a manchete de “8 GB”: ela descreve a memória de processo medida em uma configuração específica, não os requisitos totais para alguém instalar o sistema. O próprio guia rápido informa cerca de 1,7 TB livres como requisito prático — 1,56 TB para os pesos e cerca de 109 GB para o trunk empacotado.

Os números precisam ser lidos com cuidado

O repositório publica uma escada de memória entre 8 GB e 224 GB, testada em uma máquina com AMD EPYC 7763, 124 vCPUs, 228 GiB de RAM e NVMe medido a 3,2 GB/s. Na menor configuração, o relatório registra 8,24 GB de pico de RAM e 32,69 segundos por token; no teto de 224 GB, 223,82 GB de pico e 19,21 segundos por token.

Esses são resultados reportados pelo autor, não um benchmark independente do NoticIA. A própria documentação faz uma ressalva importante: três execuções idênticas tiveram variação de até 33% no tempo por token. Por isso, o ponto robusto não é prometer uma taxa fixa de geração, mas mostrar a troca de engenharia: menos RAM implica mais tráfego de disco e resposta mais lenta.

Gráfico de uso de memória e desempenho em diferentes orçamentos de RAM do kimi-k3-in-c
A documentação apresenta medições em 12 limites de memória. O desempenho varia com a alocação de RAM e com o armazenamento; os tempos individuais têm ruído declarado pelo próprio projeto. Imagem: FareedKhan-dev/kimi-k3-in-c.

Por que a RAM deixa de ser o único gargalo

Modelos MoE permitem que apenas uma pequena fração dos parâmetros participe de cada token. O projeto afirma que aproximadamente 104 bilhões de parâmetros ficam ativos por token, de um total de 2,78 trilhões. Essa esparsidade é a condição que torna o streaming concebível: se todos os pesos fossem necessários a cada etapa, o disco seria um gargalo ainda mais severo.

Mas a operação continua extremamente dependente de I/O. No quickstart, o projeto estima cerca de 135 GB movimentados por token em orçamentos baixos. Portanto, um notebook com 8 GB de RAM só entra na conversa se também tiver acesso a um checkpoint gigantesco e a armazenamento local rápido. Não é um caminho para rodar um modelo colossal em um pendrive, em uma máquina virtual comum ou em um SSD externo lento.

O que foi verificado pelo NoticIA

A redação clonou o repositório no commit 81bb6c23ccee2154bc35cad922588ab66494a9a9, compilou o código com make e executou make test. A suíte offline terminou com o veredito ALL WEIGHTLESS TESTS PASSED. Isso confirma que o código C, os testes de operações, leitura, cache e os testes sem pesos estão executáveis no ambiente verificado.

Há uma fronteira clara para essa validação: não baixamos o checkpoint de 1,56 TB, não obtivemos o token de acesso aos pesos nem reproduzimos as medições de RAM, tempo por token ou igualdade de saída. A paridade do tokenizer também não rodou sem os arquivos do modelo. Logo, os números completos de inferência permanecem como evidência fornecida pelo repositório e seus dados de benchmark.

Requisitos reais antes de tentar

ComponenteMínimo indicado pelo projetoImplicação prática
Memória RAM8 GBPermite iniciar o fluxo mais econômico, com geração muito lenta e dependente do disco.
Armazenamento~1,7 TB livresÉ o principal bloqueio para a maioria dos computadores; o checkpoint sozinho é informado como 1,56 TB.
CPUx86-64 com AVX2/FMA ou ARM64 com NEONO projeto também menciona suporte a macOS ARM64 e Windows x86-64 via MinGW.
CompiladorGCC 9+ ou Clang 10+O runtime é C99 e usa OpenMP; não há dependência de GPU ou BLAS.
Acesso aos pesosToken do Hugging Face com acesso ao modeloO código não inclui os pesos; sem eles, só os testes sem checkpoint podem ser executados.
Resumo dos requisitos documentados pelo projeto. O dado mais restritivo é o armazenamento, não a RAM.

O que muda tecnicamente

O valor do projeto está menos em tornar a inferência “barata” e mais em tornar explícito o orçamento de memória. Ferramentas de inferência locais costumam partir da pergunta “quanto do modelo cabe na RAM ou VRAM?”. Aqui, a pergunta vira “quanto do modelo pode permanecer residente e quanto tráfego de disco é aceitável por token?”.

Na análise do NoticIA, essa distinção é relevante para pesquisa, auditoria de runtimes e estudos de arquitetura de modelos esparsos. Ela é bem menos atraente para quem precisa de um assistente local responsivo. Mesmo o melhor número de geração sustentada documentado no repositório está em segundos por token, não em uma experiência instantânea de chat.

Diagrama mostrando como o kimi-k3-in-c adapta o modelo a diferentes orçamentos de memória
O repositório descreve a execução como uma cascata de escolhas entre pesos residentes e pesos transmitidos pelo disco. Imagem: FareedKhan-dev/kimi-k3-in-c.

Limites e riscos de adoção

  • Não confunda RAM com instalação completa: 8 GB de memória não eliminam a exigência de mais de 1,5 TB de pesos.
  • Velocidade depende do hardware: as medições divulgadas foram feitas em servidor com 124 vCPUs e NVMe rápido. Não devem ser transferidas diretamente para um notebook.
  • Os pesos têm regras próprias: o código está sob Apache 2.0, mas o acesso e os termos do checkpoint devem ser conferidos separadamente no provedor dos pesos.
  • É software de baixo nível: a instalação envolve compilação, download volumoso, scripts de empacotamento e entendimento de limites de memória; não é um aplicativo com instalador simples.
  • Reprodução ainda importa: o repositório inclui dados e scripts de benchmark, mas os números de desempenho exigem repetição em outros hardwares para ganhar força como referência geral.

Para quem o projeto faz sentido

O kimi-k3-in-c é interessante para desenvolvedores de runtimes, pesquisadores de inferência em MoE, pessoas que estudam cache e streaming de pesos e laboratórios que já possuem armazenamento rápido e espaço em disco abundante. Também é um exemplo didático incomum porque deixa visíveis as consequências físicas de executar um modelo muito grande: bytes lidos, limites de memória, variação de I/O e custo de manter um checkpoint por perto.

Para uso cotidiano, a conclusão é mais sóbria. O projeto não substitui modelos menores que cabem de fato na RAM ou na GPU, nem transforma um computador doméstico em uma estação de inferência veloz. Ele demonstra que um modelo gigantesco pode ser executado com pouca memória residente — desde que o restante da infraestrutura, principalmente armazenamento e paciência, acompanhe.



Descubra mais sobre noticiAI

Assine para receber nossas notícias mais recentes por e-mail.

Deixe seu comentário