Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

vLLM ajoute le déchargement RAM, DeepSeek-V4-Flash tourne sur quatre R9700

Grâce à tcclaviger, vLLM dispose désormais d'un support expert du déchargement vers la RAM. Ce mécanisme rend les modèles de pointe nettement plus accessibles sur une installation locale. Un utilisateur indique avoir fait tourner le modèle DeepSeek-V4-Flash-Vision-Exp sur quatre cartes R9700.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
open-sourcedevmatérieldeepseek

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.