Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Qwen 3.8 Flash Next : la table n-gram en FP8 améliore les résultats

Un utilisateur de r/LocalLLaMA a reconstruit en FP8 la PLE de Qwen 3.8 Flash Next — la table n-gram stockée sur le SSD — avec son script ple_fp8_pack.py. Dans les GGUF courants, cette table est fortement quantifiée, avec un impact mesurable sur les performances déjà documenté par un autre membre. Résultat : moins d'erreurs grossières en iq3_s et aucun impact sur la vitesse.

Illustration générée : couches de calcul.
Illustration générée localement — modèles. Schéma symbolique, pas une photographie.
open-sourcedevrecherche

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.