Qwen 3.8 Flash Next réparti sur deux PC, un MacBook et deux iPhone
Un membre de r/LocalLLaMA fait tourner Qwen 3.8 Flash Next, un modèle MoE de 48 couches à 512 experts, sur cinq machines reliées entre elles : deux PC gaming, un MacBook Pro M4 Pro et deux iPhone 17 Pro Max. Le modèle dépasse pourtant les 24 Go du MacBook, même quantifié en 3 bits. Résultat affiché : 37 à 39 tokens/s sur 60k de contexte, avec une répartition en couches par machine.

matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.