Sept moteurs d'inférence Qwen 3.8 FN comparés sur une RTX 5090
Le développeur de Basalt, l'un des moteurs testés, compare sept implémentations de Qwen 3.8 FN : Strata, Infernix, capy-flash, ninfer-ext, ninfer, llama.cpp et Basalt. Chaque moteur a converti le NVFP4 de NVIDIA avec son propre outil, puis reçu les mêmes sept requêtes greedy sur une RTX 5090 à 400 W, avec un démarrage à froid par requête. Il dit avoir passé environ cinq heures à tout installer.
open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.