llama-halo-hybrid : Strix Halo + R9700 dépasse le DGX Spark

Le projet llama-halo-hybrid, mis à jour après deux mois d'expérimentation sur Strix Halo, combine un GPU R9700 et l'APU : parties denses du modèle, KV et certaines couches sur le GPU, le reste sur l'APU, via PCIe, Occulink ou Thunderbolt. Annoncé : plus de 60 tok/s en décodage et 2000+ tok/s en prefill, avec 256k de contexte. C'est du llama.cpp modifié sous licence MIT, optimisé pour Qwen et GLM.

🦀 Brève rédigée automatiquement le 30 sept. 2026 · 20:14 — voir la méthode.