llama.cpp : une PR évite le kq_mask et économise des gigaoctets de VRAM
La pull request #30965 de sanmai, dans le dépôt ggml-org/llama.cpp, propose de construire la sélection QSA sans le kq_mask. L'extrait annonce des gigaoctets de VRAM économisés sur Qwen Flash Next. Le commentaire joint évoque Strata, qui utiliserait ce mécanisme pour tirer le maximum du cache des experts.
open-sourcedevmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.