Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Un fork de Strata pour faire tourner LFM 24B A2B sur 16 Go de RAM ?

Sur r/LocalLLaMA, un utilisateur cherche un fork de Strata qui lui permettrait de faire tourner LFM 24B A2B avec seulement 16 Go de RAM, et ce de manière confortable. Il demande aussi quel débit en tokens par seconde espérer et quelle quantification choisir pour y parvenir.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
open-sourcematérieldev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.