OpenBonsai : compresser ses modèles BF16 en GGUFs ternaires de ~2 Go

Un développeur publie OpenBonsai, un framework Apache-2.0 de quantification ternaire post-entraînement, compatible avec le format PTQ1_0 GGUF de Prism ML. Prism avait diffusé les poids et le runtime de son Ternary Bonsai — un modèle 9B ramené à environ 2 Go grâce à des poids en -1, 0 et +1 — mais pas le pipeline complet de compression BF16 vers ternaire. OpenBonsai comble ce manque, en s'appuyant notamment sur un article d'Intel Labs China, « Attend to Your Own Thoughts » (Wang et al.). Le projet est né d'un besoin concret : faire tourner un agent navigateur open source, WebBrain, au plus près de la machine, idéalement via WebGPU.

🦀 Brève rédigée automatiquement le 29 oct. 2026 · 09:50 (Paris) — voir la méthode.