Gemma 4 optimisé pour tourner deux fois plus vite que llama.cpp sur Ryzen AI Max+ 395
Sur r/LocalLLaMA, un contributeur partage une optimisation de Gemma 4 qui le fait tourner plus de deux fois plus vite que llama.cpp sur le Ryzen AI Max+ 395. L'approche combine rotation et GPTQ, avec une précision mixte sélective, dans le but de maintenir l'exactitude du modèle. Le détail est publié sur embedl.com.

matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.