Un fork de llama.cpp fait tourner les vieux GPU NVIDIA Kepler
Un développeur publie un fork de llama.cpp pour les vieux GPU NVIDIA Kepler et antérieurs à Ampere, afin de prolonger leur vie plutôt que de les jeter. Des correctifs sur le type de calcul cuBLAS permettent de lancer le logiciel sur du matériel (cc35-50) qui échouait à l'initialisation. Sur Qwen3.6-35B-A3B en Q8_0 avec quatre Tesla K40c, on passe d'un démarrage impossible à 35 tps, puis environ 55 tps avec les CUDA graphs.
open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.