llama.cpp : le support Q2_0 arrive dans le backend WebGPU
Une pull request (#30914) propose d'ajouter le support de la quantification Q2_0 au backend WebGPU de llama.cpp. Les tests, menés sur une RTX 3060 avec Dawn WebGPU natif, comparent master et la PR via llama-bench. Sur Ternary Bonsai 1.7B Q2_0, le prefill passe de 35,03 à 1 915,91 t/s et la génération de 14,02 à 94,75 t/s. Sur Bonsai 2 2B Q2_0, de 36,40 à 2 039,89 t/s et de 12,57 à 71,72 t/s.
open-sourcedevmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.