Modifier les poids de Qwen 3.5 0.6B avec Strata IQ4, un test d'ablation
Sur r/LocalLLaMA, un utilisateur affirme avoir modifié les poids de Qwen 3.5 0.6B avec Strata IQ4 Qwen Flash, en référence aux travaux du MIT CSAIL. Le modèle tourne entièrement sur CPU en FP32, sans gradients, autograd ni optimiseurs, sur un Xeon E5 avec 96 Go de DDR4 ECC et un RTX 3090. L'auteur parle d'un test d'ablation : 39,8 M de tokens d'entraînement, 3 h 12 de calcul, 41 tok/s en décodage.

recherchematérielopen-sourcedeepseek
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.