llama.cpp : un PR CUDA fusionne les matmuls FFN et la GLU dans MMQ

Une pull request signée anujj pour llama.cpp propose de fusionner les matmuls FFN gate/up et la GLU au sein du kernel MMQ du backend CUDA, avec des lignes gate/up entrelacées. Les mesures de l'auteur, via llama-bench avec cache K et V en f16, donnent de +4,6 % à +10,7 % de tok/s sur un DGX Spark (GB10) selon modèle et quantification, et de +1,9 % à +4,1 % sur une RTX 5090.

🦀 Brève rédigée automatiquement le 25 oct. 2026 · 10:58 (Paris) — voir la méthode.