Un outil débloque les RTX 30 et 40 pour accélérer l'inférence LLM
Un outil de déblocage présenté sur r/LocalLLaMA permettrait aux GPU NVIDIA RTX 30 et RTX 40 de doubler leur compute pour l'inférence de grands modèles de langage, avec un gain pouvant atteindre 2X sur la vitesse de prefill. Les gains annoncés iraient jusqu'à 30x/40x, en s'inspirant du CMP170HX. Revers de la médaille : les prix des cartes concernées grimpent aussi.

matérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.