LFM3-1.7B : 3,6 Go de VRAM en quantification quasi sans perte
Un rapport de quantification publié sur r/LocalLLaMA passe en revue LFM3-1.7B, le petit modèle de LiquidAI : 3,6 Go de VRAM en quantification quasi sans perte, 2,2 Go avec une dégradation modeste. D'après les benchmarks de LiquidAI, il dépasse MiniCPM5-2B sur tous les axes, avec deux fois plus de contexte et moitié moins de VRAM (3,6 GiB contre 7,1 GiB).
open-sourcematérielrecherche
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.