Especialistas: explorar o Fable da Anthropic não explica como o Kimi K3 ficou tão bom

Acusação de destilação não explica o salto do Kimi K3, dizem especialistas

O conselheiro científico da Casa Branca, Michael Kratsios, acusou a empresa chinesa Moonshot de construir o Kimi K3 — o maior LLM open-weight disponível atualmente — copiando o modelo Fable da Anthropic e usando chips que não têm autorização para exportação à China. “Destilação industrial secreta em larga escala visando roubar tecnologia proprietária americana é inaceitável”, escreveu Kratsios.

O secretário do Tesouro, Scott Bessent, ecoou a acusação: “estamos encontrando watermarks dos nossos grandes modelos de linguagem americanos em muitos modelos chineses”. No entanto, o que seriam essas marcas d’água não foi esclarecido.

A comunidade técnica, porém, está cética de que a destilação explique as capacidades avançadas do Kimi K3.

“Não dá tempo nem de destilar”

“Não acho que você consiga um modelo tão forte e tão rápido após o Fable fazendo estritamente destilação”, disse Braden Hancock, pesquisador do Laude Institute e cofundador da Snorkel AI. “O Fable só está disponível publicamente desde 1º de julho. Você não consegue destilar esse volume de dados, treinar um modelo e lançá-lo em duas semanas.”

Nathan Lambert, pesquisador do Allen Institute for AI, reforçou em podcast: “a destilação está se tornando cada vez menos impactante conforme os modelos chineses se aproximam da fronteira e o regime de treinamento muda para aprendizado por reforço. Se fosse o caso, todo mundo conseguiria alcançar um GLM ou um K3 usando seus dados para destilação. Mas não vemos isso acontecer.”

Infraestrutura, não apenas destilação

Lambert argumenta que os benefícios do fine-tuning supervisionado (SFT) diminuem conforme os modelos ficam mais complexos. Para destilar capacidades como as do Fable, seriam necessárias técnicas de aprendizado por reforço que exigem dezenas de milhões de agentes. Usar a API de um laboratório de fronteira para isso “seria insanamente caro e provavelmente um gargalo de tempo”.

Hancock foi além: “em geral, os americanos estão subestimando a expertise técnica dessas equipes chinesas. Um dos fundadores da Moonshot é PhD pela CMU. São pesquisadores legítimos fazendo trabalho sólido.”

Também é difícil separar a acusação de destilação da segunda parte da denúncia de Kratsios: que a Moonshot teria obtido chips Nvidia Grace Blackwell 300 — proibidos para exportação à China — via servidores na Tailândia.