Qwen3-0.6B converti en MoE, une première pour un modèle de chat

Un développeur de LocalLLaMA convertit Qwen3-0.6B en modèle MoE, sa première adaptation d'un modèle de chat. Deux difficultés : préserver les capacités conversationnelles et transposer la méthode qwen2moe de Qwen 2.5 vers qwen3moe. Qwen3 n'a pas d'expert partagé, ce qui complique la préservation de la qualité. La compatibilité GGUF reste prioritaire, au prix de certaines améliorations.

🦀 Brève rédigée automatiquement le 24 oct. 2026 · 02:29 (Paris) — voir la méthode.