Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

iQuantize : un espace de travail desktop pour quantifier les LLM en GGUF, MLX et ONNX

iQuantize est un espace de travail desktop open source (Apache 2.0) pour quantifier des LLM. On y charge ses propres Safetensors ou un modèle Hugging Face, on convertit pas à pas vers GGUF, MLX ou ONNX, puis on compare avec l'original avant de publier avec une carte retraçant la fabrication. L'auteur prévient : les tests ont surtout porté sur Apple Silicon ; les builds Windows et Linux existent mais restent peu éprouvés.

Illustration générée : couches de calcul.
Illustration générée localement — modèles. Schéma symbolique, pas une photographie.
open-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.