Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Flint en NVFP4 sur RTX PRO 6000 : de bons scores de code sous vLLM

Un utilisateur de r/LocalLLaMA fait tourner Flint en NVFP4 dans vLLM sur une RTX PRO 6000. Sur un échantillon de benchmarks, il mesure 82,2 sur LiveCodeBench v6 et 80 sur SWE-bench Verified, au-dessus des scores annoncés. Débit de 110 à 180 tok/s en flux unique, avec des pics proches de 2 500 tok/s à 64 requêtes. Il signale un souci de chat_template.yml et publie un correctif.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
open-sourcedevmatériel

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.