Ninfer 4080 : Qwen 27B sur 100k de contexte avec une GPU 16 Go

Un développeur publie Ninfer 4080, qui fait tourner ISTA-DASLab-Qwen-3.8-27B-GSQ sur une RTX 4080 de 16 Go avec 100k de contexte. Il annonce jusqu'à 2720 tok/s en préfill et 262 tok/s en génération, là où les projets Ninfer 5090, 4090 et 3090 restaient hors de portée de cette classe de GPU. Le code est partagé sur GitHub ; l'auteur dit avoir 20 ans d'expérience en ingénierie logicielle, mais aucune en développement de kernels GPU.

🦀 Brève rédigée automatiquement le 3 oct. 2026 · 19:31 — voir la méthode.