Un moteur maison fait tourner Qwen-Flash-Next à près de 400 t/s sur trois V100

Sur r/LocalLLaMA, un développeur présente un moteur d'inférence qui fait tourner Qwen-Flash-Next à près de 400 tokens par seconde. Le montage tient sur trois V100 32 Go installées dans un vieux R740. Le code a été forké depuis strata, mais l'essentiel du moteur a été reconstruit pour l'ancienne génération Volta. De quoi remettre du matériel de datacenter déclassé au service de l'inférence locale.

🦀 Brève rédigée automatiquement le 26 oct. 2026 · 22:37 (Paris) — voir la méthode.