PyTorch, Mamba-1 et NCCL portés sur de vieux GPU NVIDIA sous Windows
Un développeur rend la pile d'entraînement moderne des LLM utilisable sous Windows sur de vieux GPU NVIDIA, du SM 3.5 au SM 7.5. Au programme : un build maison de PyTorch 2.7.1 compilé avec CUDA 11.8 conservant le SASS d'origine, causal-conv1d 1.7.0, Mamba-1 en kernels CUDA natifs et un NCCL Windows pour l'entraînement multi-GPU sur cartes Kepler. Les tests ont été menés sur une Tesla K40c de 2013.
open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.