Nemotron 3.5 Bolt : correct sur de petits setups multi-utilisateurs
Un utilisateur de r/LocalLLaMA teste Nemotron 3.5 Bolt sur une configuration de 128 Go (4x MI100), une taille pour laquelle le modèle a été conçu, puisqu'il vise les Sparks. Dans le modèle de base, les décodeurs sont quantifiés en 2 bits et les parties plus sensibles en NVFP4, d'autres quants étant disponibles. Verdict : « correct » pour de petits usages multi-utilisateurs, mais rien qui le distingue face à un 27B ou à Flash Next.

matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.