Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Project Zero v0.2.0 : ternaire, dense et MoE dans un seul binaire CPU

Project Zero, moteur d'inférence LLM écrit en C sans framework ML externe, passe en v0.2.0. Le même binaire, pz, fait tourner modèles ternaires BitNet/Falcon, Ternary-Bonsai-27B, transformers GGUF denses, MoE DeepSeek-V2 et Qwen3, et Mamba-1, sans GPU ni Python. Côté MoE, DeepSeek-V2-Lite-Chat Q4_K_S passe de 6,3-7,3 à 11,7-12,6 tok/s sur un Xeon 4 vCPU AVX-512 VNNI, à quatre threads.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
open-sourcedevdeepseekmatériel

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.