Ternary Bonsai 2 : les modèles 2B, 4B et 9B quantifiés en ternaire sont sur Hugging Face
La collection Bonsai 2 de prism-ml est publiée sur Hugging Face avec trois tailles : 2B, 4B et 9B. Le plus petit tourne entièrement dans le navigateur, jusqu'à 500 tokens par seconde sur un M4 Max, grâce à des kernels WebGPU custom. Une démo WebGPU est accessible en ligne.
open-sourcedevmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le 15 oct. 2026 · 21:00 — voir la méthode.