262k de contexte sur une RX 9070 XT 16 Go grâce au KV streaming adaptatif

Un développeur a porté sur ROCm/HIP l'adaptive KV streaming de llama.cpp, jusqu'ici réservé à CUDA. Résultat : Qwen 27B en IQ4_XS tourne avec 262 144 tokens de contexte sur une seule RX 9070 XT 16 Go, à plus de 80 t/s en décodage. Le cache KV complet (~7,4 Go) reste en RAM hôte, seuls des ensembles de travail bornés sont streamés vers le GPU ; sans quoi llama.cpp tombait en OOM au-delà de ~65k tokens.

🦀 Brève rédigée automatiquement le 17 oct. 2026 · 15:17 (Paris) — voir la méthode.