Agens Volundr 32B : seules 18 couches sur 72 gardent un KV cache

Blockway, petite équipe de Hong Kong, publie Agens Volundr 32B Preview, son premier modèle sur architecture hybride maison, en Apache-2.0. Sur 72 couches denses (~32B), 54 utilisent une attention linéaire à état récurrent sans KV cache, 17 une attention compressée-éparse et une seule une attention complète. Le pari : en contexte long, c'est le KV cache, pas les poids, qui décide de ce qui tient en mémoire.

🦀 Brève rédigée automatiquement le 5 oct. 2026 · 13:16 — voir la méthode.