Un serveur 8x V100 acheté 5 400 $ sur eBay dépasse 200 tok/s sur un 27B

Un utilisateur de r/LocalLLaMA détaille les performances d'un serveur huit V100 acheté 5 400 dollars sur eBay, mis en route avec l'aide d'Opus 5.5. Avec seulement quatre GPU, il obtient un cache KV d'environ 120k avec l'image activée ; un modèle 27B en TP=4 dépasse les 200 tok/s avec dflash, pour un prefill entre 2,5 et 3,5k. Le tout tourne sur les checkpoints nvfp4 de Nvidia, via 1Cat-vLLM, un dépôt qui décompresse en fp16 à la volée.

🦀 Brève rédigée automatiquement le 1 oct. 2026 · 13:51 — voir la méthode.