Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Un LLM vocal NVIDIA 30B réduit de 67,5 à 10 Go sans réentraînement

Un utilisateur de r/LocalLLaMA indique avoir élagué le nouveau LLM vocal 30B de NVIDIA de 67,5 Go à 10 Go, sans réentraînement. Le modèle compressé transcrit avec un WER de 5,16 %, contre 4,12 % pour le modèle enseignant. La réduction de taille est donc obtenue sans réentraînement.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
recherchedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.