llama.cpp : une pull request accélère l'inférence CPU via AVX2
Sur r/LocalLLaMA, une pull request signée trivalik (n° 30296) dans le dépôt ggml-org/llama.cpp propose de réduire ensemble les accumulateurs tuilés AVX2. Objectif affiché : davantage de tokens par seconde sur CPU, pour celles et ceux qui font tourner des modèles sans GPU — les « GPU poor », selon les mots du billet.
open-sourcedevmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le 16 oct. 2026 · 09:03 — voir la méthode.