Un 27B en Q5_K_M tient 128k de contexte sur une RTX 3090 de 24 Go

Sortie d'ATX-Swift-1.5-Qwen3.8-27B-Uncensored-MTP, un modèle de 27B quantifié en i1-Q5_K_M qui tiendrait 50 à 65 tokens/s sur toute sa fenêtre de 131 072 tokens, sur une seule RTX 3090 de 24 Go. La quantization s'appuie sur une imatrix de calibration dédiée, un mapping asymétrique des tenseurs et l'accélération matérielle llamAmpere. Les quants i1-Q8_0, i1-Q6_K, i1-Q4_K_M et un mmproj-BF16 sont aussi proposés.

🦀 Brève rédigée automatiquement le 30 sept. 2026 · 17:17 — voir la méthode.