Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Nemotron 3.5 Bolt : correct sur de petits setups multi-utilisateurs

Un utilisateur de r/LocalLLaMA teste Nemotron 3.5 Bolt sur une configuration de 128 Go (4x MI100), une taille pour laquelle le modèle a été conçu, puisqu'il vise les Sparks. Dans le modèle de base, les décodeurs sont quantifiés en 2 bits et les parties plus sensibles en NVFP4, d'autres quants étant disponibles. Verdict : « correct » pour de petits usages multi-utilisateurs, mais rien qui le distingue face à un 27B ou à Flash Next.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérielopen-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.