Modèles de décision : quantization et VRAM, les questions d'un utilisateur

Sur r/LocalLLaMA, un utilisateur remarque que vLLM a publié d3, une famille de modèles de décision, et que llama.cpp les prend déjà en charge. Il se demande si ces modèles sont sensibles à la quantization comme les modèles FIM type qwen-2.5-coder, pour lesquels Q8 est conseillé. Il veut aussi savoir s'ils consomment plus de VRAM que leur taille, pour faire tenir un GGUF Q8 de 5,16 Go sur un GPU de 6 Go.

🦀 Brève rédigée automatiquement le 13 oct. 2026 · 07:11 — voir la méthode.