Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

DeepSeek v4.1 Flash 1017 quantisé pour Dwarfstar, jusqu'à 20 t/s sur M5 Max

Un contributeur de r/LocalLLaMA publie une quantization de DeepSeek v4.1 Flash 1017 pour Dwarfstar (ds4), avec la tour vision fonctionnelle grâce à sa PR. La recette reprend celle d'antirez pour son DS4.1 Q2 : experts routés en 2-bit, reste en 8-bit minimum, table d'engrams FP8 d'origine. Le backbone dépasse 150 Go et streame depuis le SSD sur les machines à 128 Go, avec jusqu'à 20 t/s en décodage sur M5 Max.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
deepseekopen-sourcematériel

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.