Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Deux RTX 3060 en PCIe 3.0 x1 : le tensor split booste llama.cpp

Sur r/LocalLLaMA, un utilisateur fait tourner Gemma 4 31B Q5 sur deux RTX 3060 12 Go, dont une reliée en PCIe 3.0 x1 par un riser. On lui prédisait un goulot d'étranglement sévère. En passant du layer splitting au tensor splitting sous llama.cpp, il mesure +42 % de débit (14 → 20 t/s). Tests encore limités, le temps de changer d'alimentation.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérielopen-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.