Prefill : un utilisateur gagne 2x en vitesse sur Qwen, au prix de la précision

Sur r/LocalLLaMA, un utilisateur constate que le décodage progresse grâce à des modèles adaptés comme Sushi ou Splash avec Qwen 27B et Qwen Flash Next, jusqu'à 40 tokens/s sur son M3 Max. Le prefill, lui, semble stagnant : en approximant le KV cache avec QFN, il atteint ~850 tokens/s contre 400, mais les tests « needle » échouent. La vitesse se paie en précision ; il se demande s'il s'agit d'une limite matérielle.

🦀 Brève rédigée automatiquement le 15 oct. 2026 · 10:27 — voir la méthode.