JSSA : une attention éparse au niveau du token pour le décodage longue contexte

Le papier JSSA (Joint Subspace Sparse Attention) s'attaque au trafic de KV-cache qui domine le décodage des LLM sur de longs contextes, en passant à une sélection de tokens plus fine que les méthodes par blocs. Deux obstacles sont traités : la qualité du classement, via un sous-espace query–key partagé de faible dimension appris en minimisant l'erreur de préservation des scores, et le coût de collecte des tokens dispersés, évité par une exécution indexée sans gather.

🦀 Brève rédigée automatiquement le 29 oct. 2026 · 09:50 (Paris) — voir la méthode.