Strata : booster la qualité d'un quant Qwen 3.8 Flash Next avec un ngram Q8
Sur r/LocalLLaMA, un utilisateur explique comment améliorer la qualité de sortie d'un quant Qwen 3.8 Flash Next sous Strata en chargeant un ngram Q8 en parallèle, via l'option --ple-gguf ou la variable STRATA_SET en Docker, sans surcoût de VRAM ni de mémoire, et sans sacrifier la vitesse prefill/decode avec ple-io=direct. Un ngram gguf brut de Hugging Face provoque une erreur d'architecture : il faut éditer ses métadonnées.
open-sourcedevmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.