Un fork de Strata pour faire tourner LFM 24B A2B sur 16 Go de RAM ?
Sur r/LocalLLaMA, un utilisateur cherche un fork de Strata qui lui permettrait de faire tourner LFM 24B A2B avec seulement 16 Go de RAM, et ce de manière confortable. Il demande aussi quel débit en tokens par seconde espérer et quelle quantification choisir pour y parvenir.

open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.