Qwen4 et quantification : des prévisions sur l'architecture HC

Sur r/LocalLLaMA, un utilisateur partage ses prévisions sur Qwen4 et l'architecture HC, en attendant sa sortie. L'optimisation a longtemps visé le FFN et l'attention ; avec HC, le mélange du flux résiduel et la préservation de l'information comptent aussi. Le format NVFP4 pourrait déformer les relations fines de gating d'HC, certains tenseurs exigeant plus de précision que les poids FFN classiques.

🦀 Brève rédigée automatiquement le 31 oct. 2026 · 04:29 (Paris) — voir la méthode.