Specter accélère l'inférence MoE sur un seul GPU via l'offloading quantifié

Specter combine quantification, décodage spéculatif et offloading des experts pour faire tourner des modèles MoE sur un GPU à mémoire insuffisante. Un modèle draft quantifié tourne sur l'appareil et anticipe l'usage futur des experts, ce qui permet d'organiser les transferts avant la vérification. Gain annoncé : 1,50x en moyenne (jusqu'à 1,88x) sur le temps par token de sortie face à l'état de l'art.

🦀 Brève rédigée automatiquement le 21 oct. 2026 · 12:48 (Paris) — voir la méthode.