Un fork fait cohabiter un RTX 5090 et un iGPU Strix Halo pour l'inférence LLM

Faute d'engine capable de faire tourner un modèle sur un GPU Nvidia et un iGPU AMD simultanément — vLLM se limite à un seul constructeur, et le backend Vulkan de llama.cpp bride le prefill sur RTX 5090 — un développeur a forké le moteur Project MAYA. Son fork répartit prefill et decode de GLM-5.3-Flash Maya-M GGUF : le backend CUDA gère l'attention, les couches denses et le cache d'experts, le backend ROCm exécute les experts complémentaires dans le même processus. Le titre annonce jusqu'à 48 % de gain.

🦀 Brève rédigée automatiquement le 10 nov. 2026 · 04:07 (Paris) — voir la méthode.