Un 5070 Ti et une vieille 3070 réunis pour faire tourner Qwen 3.6 35B-A3B en local
Un utilisateur de r/LocalLLaMA décrit son montage : une RTX 5070 Ti à 750 dollars TTC, épaulée par son ancienne 3070 montée hors boîtier sur un riser PCIe, en x1. Ollama et llama.cpp répartissent le modèle sur ces deux GPU sans difficulté, le découpage par couches échangeant peu de données entre les cartes. Qwen 3.6 35B-A3B, un MoE à 3B de paramètres actifs, tourne à environ 82 tokens/s en 16k de contexte.

matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.