llama.cpp : un noyau Vulkan Flash Attention dédié au prefill sur Intel Arc

llama.cpp master accueille un noyau Vulkan Flash Attention dédié au prefill pour les GPU Intel Arc et Xe, via des shaders exploitant les formes natives des matrix cores Intel et l'architecture SLM (m16n16k16, SIMD32). Sur ARL-H sous Windows en pp8192, qwen3 8B Q4_K passe de 126,58 à 415,31 t/s et gpt-oss 20B de 478,14 à 639,02 t/s. Le noyau reste désactivé sur A770, où les tests sont jugés incohérents, et les raffinements du backend profitent aussi aux modèles à une seule tête KV (MQA, MLA).

🦀 Brève rédigée automatiquement le 12 nov. 2026 · 21:12 (Paris) — voir la méthode.