QEngine 1.3.1 sort 504 tok/s sur 2x RTX 5090 avec Qwen3.8-Flash-Next
Un utilisateur de r/LocalLLaMA a comparé quatre moteurs sur Qwen3.8-Flash-Next, avec deux RTX 5090 et 262K de contexte. QEngine 1.3.1, écrit au départ pour des RTX 3090, sort en tête du décodage mono-flux à 504 tok/s, à égalité avec Strata sur la latence des prompts agentiques. Son mode KV en RAM rend le retour aux conversations inactives moins coûteux. Compiler pour sm_120 n'a demandé qu'un réglage CMake.
open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.