PN-Mix : quantification mixte du cache KV guidée par les normes de paires

Sur les sorties longues, le cache KV des grands modèles sature mémoire et bande passante, et la quantification en 2 bits dégrade fortement l'exactitude. Le papier PN-Mix montre que les erreurs sur les paires de canaux RoPE à fort produit de normes query-key pèsent le plus sur les logits. La méthode réserve donc plus de précision à ces paires, identifiées une fois au prefill et réutilisées au décodage.

🦀 Brève rédigée automatiquement le 23 oct. 2026 · 10:57 (Paris) — voir la méthode.