Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Les RTX 3080 20 Go débloquent le P2P et le reBAR, jusqu'à +70 % sur le prompt

Sur r/LocalLLaMA, un utilisateur publie ses tests après le déblocage du P2P sur les RTX 3080 20 Go, qui apporte un gain important en vitesse de traitement de prompt en mode tensor parallel, jusqu'à +70 % selon le titre. Le travail revient à u/nathannguyennng. Banc d'essai : deux cartes bridées à 240 W sur des slots PCIe 3.0 x16, vLLM 0.32.0 avec le modèle cyankiwi/Swift-1.5-Qwen3.8-27B-AWQ-INT4, cache KV en FP8 et MTP activé.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérielopen-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.