Project Zero v0.2.0 : ternaire, dense et MoE dans un seul binaire CPU
Project Zero, moteur d'inférence LLM écrit en C sans framework ML externe, passe en v0.2.0. Le même binaire, pz, fait tourner modèles ternaires BitNet/Falcon, Ternary-Bonsai-27B, transformers GGUF denses, MoE DeepSeek-V2 et Qwen3, et Mamba-1, sans GPU ni Python. Côté MoE, DeepSeek-V2-Lite-Chat Q4_K_S passe de 6,3-7,3 à 11,7-12,6 tok/s sur un Xeon 4 vCPU AVX-512 VNNI, à quatre threads.

open-sourcedevdeepseekmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.