Flint en NVFP4 sur RTX PRO 6000 : de bons scores de code sous vLLM
Un utilisateur de r/LocalLLaMA fait tourner Flint en NVFP4 dans vLLM sur une RTX PRO 6000. Sur un échantillon de benchmarks, il mesure 82,2 sur LiveCodeBench v6 et 80 sur SWE-bench Verified, au-dessus des scores annoncés. Débit de 110 à 180 tok/s en flux unique, avec des pics proches de 2 500 tok/s à 64 requêtes. Il signale un souci de chat_template.yml et publie un correctif.

open-sourcedevmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.