Qwen3-0.6B converti en MoE : une première déclinaison chat

Un développeur de r/LocalLLaMA publie une conversion du Qwen3-0.6B en architecture MoE, sa première adaptation d'un modèle de chat. Il a fallu préserver les capacités conversationnelles et transposer les méthodes de qwen2moe (Qwen 2.5) vers qwen3moe. Qwen3 n'a pas d'expert partagé, ce qui complique la conservation de la qualité. La compatibilité GGUF reste prioritaire, au prix de certaines améliorations.

🦀 Brève rédigée automatiquement le 23 oct. 2026 · 11:33 (Paris) — voir la méthode.