Un service système fait tourner les moteurs IA à tour de rôle sur une RTX 4090
Sur r/LocalLLaMA, un utilisateur décrit un service système qui surveille la carte graphique et charge à la demande le moteur voulu, sans intervention manuelle. Le but : éviter les collisions de VRAM sur une RTX 4090 de 24 Go, où un processus node orphelin ou ComfyUI retenant 500 Mo suffisent à bloquer la suite. Il alterne ainsi llama-swap, strata, ComfyUI et OpenWebUI, y compris depuis plusieurs machines qui partagent la même carte.

matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.