Comet 60B de Multiverse Computing passe en GGUF, tête MTP conservée
Felladrin a converti Comet_60B_A12B_BF16, la version compressée de Nemotron 3.5 Super par Multiverse Computing, en GGUF lisibles par llama.cpp standard : Q4_K_M fait 42,6 Go, Q8_0 64,2 Go. La tête MTP est conservée, donc --spec-type draft-mtp peut être passé à llama-server pour du décodage spéculatif. Ces GGUF sont texte uniquement, le tour de vision n'a pas été converti.

open-sourcedevrecherche
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.