Mica v0.5, un modèle de décision 4B plus rapide qu'un encodeur de 395M

Sur r/LocalLLaMA, l'auteur présente Mica v0.5, un modèle de décision 4B (Qwen3.5-4B + LoRA) qui ne rédige pas de texte : on lui passe un état, une question et des options, il renvoie une probabilité par option en une seule passe. Testé sur une RTX 6000 Ada face à PPLX Decider 1.2 Flash (4B, mode Laya, encodeur ModernBERT-large de 395M), il tourne en 14 ms contre 31 ms. Un autre modèle 4B monte à 150 ms.

🦀 Brève rédigée automatiquement le 23 oct. 2026 · 21:29 (Paris) — voir la méthode.