vLLM fonctionne enfin sur quatre GPU Intel B70 en FP8

Un utilisateur de r/LocalLLaMA annonce faire tourner vLLM sur quatre cartes Intel B70 en FP8 : 128 Go de VRAM, 128 Go de RAM, en conteneur et de façon reproductible, avec un contexte de 256k. Débits mesurés : 450 t/s en prefill, 20 t/s en génération. Plusieurs dépassements d'entiers 32 bits, sources de plantages, ont été corrigés et rétroportés avec l'aide d'un LLM. Ses tests multi-cartes échouaient jusqu'ici.

🦀 Brève rédigée automatiquement le 17 oct. 2026 · 05:29 (Paris) — voir la méthode.