vLLM ajoute le déchargement RAM, DeepSeek-V4-Flash tourne sur quatre R9700
Grâce à tcclaviger, vLLM dispose désormais d'un support expert du déchargement vers la RAM. Ce mécanisme rend les modèles de pointe nettement plus accessibles sur une installation locale. Un utilisateur indique avoir fait tourner le modèle DeepSeek-V4-Flash-Vision-Exp sur quatre cartes R9700.
open-sourcedevmatérieldeepseek
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le 29 sept. 2026 · 21:21 — voir la méthode.