llama.cpp : le support Q2_0 débarque sur le backend WebGPU

Une pull request de teddygood ajoute le support du format de quantification Q2_0 au backend WebGPU de llama.cpp. Testé sur une RTX 3060 via Dawn WebGPU, le gain est net : sur Ternary Bonsai 1.7B, le traitement du prompt passe de 35 à 1 916 tokens/s et la génération de 14 à 95 tokens/s. Le modèle Bonsai 2 2B suit la même courbe, de 36 à 2 040 tokens/s en pp512. De quoi rendre les modèles 2 bits réellement exploitables dans un navigateur ou via une API GPU web.

🦀 Brève rédigée automatiquement le 22 oct. 2026 · 11:50 (Paris) — voir la méthode.