Prefill bloqué à ~200 tps sur 4070 et V100, un utilisateur cherche la cause

Sur r/LocalLLaMA, un utilisateur rapporte un prefill plafonnant autour de 200 tps sur un modèle quantifié en iq3_xxs, aussi bien sur une RTX 4070 12 Go que sur une V100 16 Go, en simple comme en double GPU. Il s'étonne de ne jamais approcher le millier de tps vu chez d'autres, et soupçonne d'abord le PCIe de la V100, sans effet sur la 4070. Sa machine : i5-12400F, 32 Go de RAM DDR4 3200, SSD en lecture 3,6 Go/s. Il partage ses flags de lancement (expert-cache, prefill auto, kv int8, mmap-experts, layer_split auto) et demande des pistes de réglage.

🦀 Brève rédigée automatiquement le 17 oct. 2026 · 09:10 (Paris) — voir la méthode.