Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Deux PC pour un seul gros modèle MoE : comment répartir GPU et RAM

Un utilisateur de r/LocalLLaMA cherche comment mutualiser deux PC pour faire tourner de gros modèles MoE. Le premier combine 94 Go de DDR5 et deux GPU (5070 Ti + 3060 12 Go) sur une carte mère conçue pour le double GPU ; le second n'a que 64 Go de DDR4. Il envisage de les relier en Ethernet 5-10 Gb via le RPC de llama.cpp et hésite à déplacer la 3060 dans la machine DDR4, pour viser une quantification élevée.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérielopen-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.