Du 262k de contexte en local sur une seule GPU de 16 Go

Un membre de r/LocalLLaMA détaille sa configuration pour faire tourner Qwen 3.8 27B en local avec 262k de contexte, sur une seule GPU de 16 Go (9060 XT) et 24 Go de DDR5 pour tout son homelab. Avec quantification unsloth iq4XS, cache KV streaming et prédiction ngram, il annonce 42,7 t/s en génération et 658 t/s en prefill à 20k. Il s'appuie sur un fork de llama.cpp, dont les bugs de PCIe atomics ont été corrigés par un bot.

🦀 Brève rédigée automatiquement le 18 oct. 2026 · 05:35 (Paris) — voir la méthode.