Des kernels LoRA rapides pour llama.cpp, jusqu'à 1400 t/s sur Strix Halo

Un contributeur publie des kernels LoRA pour llama.cpp, où cette fonctionnalité reste lente : sur Strix Halo, le prefill chute de 1500 à 300 t/s avec un LoRA de 35 Mo qui ne touche que quelques modules du modèle. Son kernel LoRA général remonte à 1000 t/s, le kernel fusionné à 1400 t/s. L'enjeu : appliquer un LoRA sans retélécharger le modèle complet, par exemple pour passer Qwen3.8-Flash-Next en version non censurée en Q8_0, IQ4_NL ou GSQ-RCO-Q2_0, avec un scale réglable.

🦀 Brève rédigée automatiquement le 21 oct. 2026 · 08:09 (Paris) — voir la méthode.