4x Intel B65 : +30 % de prefill et de TTFT sur vLLM avec un chunk de 8 192 tokens
Un habitué de r/LocalLLaMA poursuit ses tests sur une configuration de quatre cartes Intel B65. En portant le chunk de prefill à 8 192 tokens sous vLLM 0.30.0 patché, il annonce environ 30 % de prefill et de TTFT en moins. Le montage fait tourner Qwen3.8-Flash-Next en W4A16, avec parallélisme tensoriel et expertiel sur les quatre cartes, décodage spéculatif MTP-3 et une fenêtre de 262K tokens.
matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.