Un quant IQ3_S de Qwen3.8-27B peut-il tenir tête à l'UD Q4 d'Unsloth ?
Sur r/LocalLLaMA, un utilisateur se demande si le modèle ISTA-DASLab/Qwen3.8-27B-GSQ-RCO-GGUF tient ses promesses face à l'UD-Q4_K_XL d'Unsloth. La carte du modèle annonce les performances d'un BF16 dans un quant IQ3_S. L'auteur suppose qu'un IQ3_S serait plus rapide qu'un UD Q4 comparable. Reste à savoir s'il s'agit de promesses en l'air ou d'une vraie alternative.

open-sourcerecherchedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.