llama.cpp : un gain de vitesse CUDA pour les quantifications basses (Q2_K, Q3_K)

Une pull request (#30517) signée am17an propose un noyau MMVQ CUDA plus rapide pour llama.cpp, le projet open source porté par ggml-org. Le gain de vitesse annoncé est important, mais il ne vaut que pour certaines quantifications basses précision, comme Q2_K et Q3_K. L'info a été relayée sur r/LocalLLaMA par l'utilisateur jacek2023.

🦀 Brève rédigée automatiquement le 17 oct. 2026 · 17:21 (Paris) — voir la méthode.