Deux RTX 3060 en PCIe 3.0 x1 : le tensor split booste llama.cpp
Sur r/LocalLLaMA, un utilisateur fait tourner Gemma 4 31B Q5 sur deux RTX 3060 12 Go, dont une reliée en PCIe 3.0 x1 par un riser. On lui prédisait un goulot d'étranglement sévère. En passant du layer splitting au tensor splitting sous llama.cpp, il mesure +42 % de débit (14 → 20 t/s). Tests encore limités, le temps de changer d'alimentation.

matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.