Gemma 4 31B sur petit budget : deux GPU reliés en PCIe x1, ça vaut le coup ?

Un utilisateur de r/LocalLLaMA cherche à faire évoluer à petit budget son serveur d'inférence : objectif Gemma 4 31B en Q5_K_M (~23 Go), contexte 16K en q8, au moins 15 t/s. Sa config actuelle (i5-14400F, RTX 3060 12 Go, 32 Go DDR4, Debian, Ollama/llama.cpp) plafonne à 2,3 t/s en sortie. Son plan : ajouter une RTX 5060 Ti 16 Go et déporter la 3060 sur un riser PCIe 3.0 x1, pour 28 Go cumulés.

🦀 Brève rédigée automatiquement le 20 oct. 2026 · 06:19 (Paris) — voir la méthode.