iQuantize : un espace de travail desktop pour quantifier les LLM en GGUF, MLX et ONNX
iQuantize est un espace de travail desktop open source (Apache 2.0) pour quantifier des LLM. On y charge ses propres Safetensors ou un modèle Hugging Face, on convertit pas à pas vers GGUF, MLX ou ONNX, puis on compare avec l'original avant de publier avec une carte retraçant la fabrication. L'auteur prévient : les tests ont surtout porté sur Apple Silicon ; les builds Windows et Linux existent mais restent peu éprouvés.

open-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.