Huit GPU et 256 Go de DDR4 pour faire tourner de gros MoE : viable ?
Un membre de r/LocalLLaMA a réuni huit GPU (4x RTX 5060 Ti 16 Go, 4x RTX 3060 12 Go) et 256 Go de DDR4 3200, pour un coût proche d'un DGX Spark. Il veut faire du tensor parallel par groupes de quatre et déporter les experts les moins utilisés vers la RAM et le NVMe. Reste à savoir si ce montage fait tourner de gros modèles MoE à haute vitesse, ou s'il reste très sous-optimal face à la mémoire unifiée.
matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.