Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

En local, un modèle IQ2_XXS s'enlise dans le raisonnement, retour au 27B en Q4_K_L

Un utilisateur de r/LocalLLaMA teste Swift-1.5-Qwen3.8-Flash-Next (IQ2_XXS, 64k de contexte, moteur Strata) pour remplacer son 27B en Q4_K_L sous llama.cpp. En raisonnement « medium », le modèle n'écrit jamais de code : il enchaîne les vérifications, même après avoir conclu qu'il était temps de coder. Raisonnement coupé, il spamme les appels d'outils. Retour au 27B, qui écrit la correction en quelques minutes.

Illustration générée : couches de calcul.
Illustration générée localement — modèles. Schéma symbolique, pas une photographie.
open-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.