De 9 à 48 t/s sur un GPU 8 Go grâce à CachyOS, selon un utilisateur

Sur r/LocalLLaMA, un utilisateur dit être passé de 9 à parfois 48 t/s, avec une moyenne d'environ 30, après avoir adopté STRATA sous CachyOS. Il tournait jusque-là avec Unsloth en 3 bits sur Qwen 3.8 Flash Next et un GPU de 8 Go. Il dit avoir choisi CachyOS pour son pilote NVIDIA prêt à l'emploi. Le contexte tient à 32k, 42k au mieux, à 130 Mo de VRAM de la limite ; 64k est hors de portée.

🦀 Brève rédigée automatiquement le 21 oct. 2026 · 00:24 (Paris) — voir la méthode.