Un LLM vocal NVIDIA 30B réduit de 67,5 à 10 Go sans réentraînement
Un utilisateur de r/LocalLLaMA indique avoir élagué le nouveau LLM vocal 30B de NVIDIA de 67,5 Go à 10 Go, sans réentraînement. Le modèle compressé transcrit avec un WER de 5,16 %, contre 4,12 % pour le modèle enseignant. La réduction de taille est donc obtenue sans réentraînement.

recherchedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.