Un moteur d'inférence en C fait tourner des MoE de 35B sur une Tesla K80 de 2014
Pantheon, moteur d'inférence en C sans bibliothèque externe, vise l'architecture Kepler (sm_37) via un backend CUDA : une Tesla K80 d'occasion fait tourner des MoE de 35B. Sur une carte en hôte 2 cœurs / 8 Go sans AVX : ~21 tok/s en génération avec Qwen3.6-35B-A3B et Nex-N2-mini en Q3_K_M, les poids restant sur la carte. Le cache de préfixe intégré fait passer le second tour d'opencode de 170 à 9 s.
open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.