Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Gemma 4 optimisé pour tourner deux fois plus vite que llama.cpp sur Ryzen AI Max+ 395

Sur r/LocalLLaMA, un contributeur partage une optimisation de Gemma 4 qui le fait tourner plus de deux fois plus vite que llama.cpp sur le Ryzen AI Max+ 395. L'approche combine rotation et GPTQ, avec une précision mixte sélective, dans le but de maintenir l'exactitude du modèle. Le détail est publié sur embedl.com.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérielopen-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.