Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Un service système fait tourner les moteurs IA à tour de rôle sur une RTX 4090

Sur r/LocalLLaMA, un utilisateur décrit un service système qui surveille la carte graphique et charge à la demande le moteur voulu, sans intervention manuelle. Le but : éviter les collisions de VRAM sur une RTX 4090 de 24 Go, où un processus node orphelin ou ComfyUI retenant 500 Mo suffisent à bloquer la suite. Il alterne ainsi llama-swap, strata, ComfyUI et OpenWebUI, y compris depuis plusieurs machines qui partagent la même carte.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérielopen-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.