Un serveur 8x T4 pour Qwen3.5-9B, et l'envie de le fine-tuner en QLoRA
Un membre de r/LocalLLaMA détaille son installation : un Asus ESC4000 G3 avec 128 Go de DDR4 et huit T4, où Qwen3.5-9B en Q5_K_XL tient 87k de contexte par slot sur 44 slots, une instance llama.cpp par carte derrière un load balancer nginx. Il mesure 35 à 40 tokens/s et un TTFT de 3 à 5 s, qualité comparée à gpt-4o-mini. Il cherche maintenant à le fine-tuner en QLoRA sur 500 Go de données brutes.
matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.