Un HP Z640 d'occasion avec deux RTX 3060 12 Go pour faire tourner des MoE
Un membre de r/LocalLLaMA veut acheter un HP Z640 d'occasion à environ 550 € : deux E5-2680 v4, 64 Go de DDR4 ECC et une Quadro M6000 24 Go. Il compte y ajouter deux RTX 3060 12 Go pour faire tourner des modèles MoE sur llama.cpp, et demande si le double socket complique l'offload. Il se demande aussi si la M6000 peut servir de troisième carte CUDA ou si elle est inutile.

matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.