Deux PC pour un seul gros modèle MoE : comment répartir GPU et RAM
Un utilisateur de r/LocalLLaMA cherche comment mutualiser deux PC pour faire tourner de gros modèles MoE. Le premier combine 94 Go de DDR5 et deux GPU (5070 Ti + 3060 12 Go) sur une carte mère conçue pour le double GPU ; le second n'a que 64 Go de DDR4. Il envisage de les relier en Ethernet 5-10 Gb via le RPC de llama.cpp et hésite à déplacer la 3060 dans la machine DDR4, pour viser une quantification élevée.

matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.