Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Débloquer une 3090 change-t-il quelque chose aux quants en précision mixte ?

Sur r/LocalLLaMA, un utilisateur demande si le déblocage de GPU (gpu-unlock) sur des cartes 3090 apporte un gain réel avec les quantifications en précision mixte, où une partie du modèle est quantifiée en Q8 ou moins tandis que certains tenseurs restent en BF16. Il cherche des retours d'expérience sur ce cas précis. L'extrait ne contient aucune réponse.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérielopen-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.