Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Nanbeige 4.3-33B : des GGUF quantisés de 35,2 Go à 13,7 Go

Un post de r/LocalLLaMA détaille l'échelle de quantisations GGUF du nouveau modèle 33B de Nanbeige : les fichiers s'étalent de 35,2 Go à 13,7 Go. Pour une machine dotée de 32 Go de mémoire, le compromis retenu est la version AD-IQ4_XS de 20,3 Go, qui conserve 92,0 % du top-1 du modèle en BF16. De quoi faire tourner un 33B en local sans sacrifier trop de qualité.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
open-sourcematérieldev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.