Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Des GGUF quantifiés GSQ-RCO pour DeepSeek-V4.1-Flash-1017

ISTA publie trois GGUF quantifiés de DeepSeek-V4.1-Flash-1017, MoE clairsemé de 763,2 milliards de paramètres (6 experts actifs sur 384 par couche) et 1M de contexte. Les builds IQ1_M, IQ2_XXS et IQ2_XS (1,75 à 2,25 bits par poids) pèsent 120,7 à 155,2 Go. Un fichier Engram de 110,6 Go, identique pour tous, ne se télécharge qu'une fois. Chaque build tourne sur un seul GPU de 12 Go avec Strata.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
deepseekopen-sourcematériel

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.