Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Un outil débloque les RTX 30 et 40 pour accélérer l'inférence LLM

Un outil de déblocage présenté sur r/LocalLLaMA permettrait aux GPU NVIDIA RTX 30 et RTX 40 de doubler leur compute pour l'inférence de grands modèles de langage, avec un gain pouvant atteindre 2X sur la vitesse de prefill. Les gains annoncés iraient jusqu'à 30x/40x, en s'inspirant du CMP170HX. Revers de la médaille : les prix des cartes concernées grimpent aussi.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérieldev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.