Volundr : 262K de contexte pour un 32B dans 16 Go de VRAM

Blockway, petite équipe de Hong Kong, présente Volundr, un modèle 32B dont 54 des 72 couches gardent un état de taille fixe au lieu d'un cache KV croissant à chaque token. Pour l'exploiter, elle a écrit son propre moteur d'inférence, Agens Engine, sous licence MIT. Il reprend une conversation là où elle s'est arrêtée et tient dans un budget mémoire GPU choisi, le contexte long débordant vers la RAM système.

🦀 Brève rédigée automatiquement le 19 oct. 2026 · 17:55 (Paris) — voir la méthode.