Un serveur 8x V100 à 5 400 $ sur eBay tourne sous flash-next

Un serveur 8x V100 acheté 5 400 dollars sur eBay tourne sous flash-next, avec un bring-up confié à Opus 5.5 et des résultats jugés très solides. Sur 4 GPU seulement, la KV atteint environ 120k avec l'image activée ; un modèle 27B en TP=4 dépasse les 200 tok/s avec dflash, pour un prefill de 2,5 à 3,5k. Les deux tournent sur des checkpoints nvfp4, via le dépôt 1Cat-vLLM qui décompresse en fp16 à la volée.

🦀 Brève rédigée automatiquement le 1 oct. 2026 · 13:47 — voir la méthode.