FlashMask-3 : un noyau d'attention adapté à Hopper pour le long contexte
Sur les modèles à long contexte, combiner masques d'attention structurés et parallélisme de contexte multi-nœuds fait du masque le principal goulot d'étranglement. FlashMask compressait déjà ces masques de O(n²) à O(n) grâce à quatre vecteurs de bornes, mais son implémentation visait les GPU Ampere, sans exploiter le pipeline warp-specialized TMA/WGMMA de FlashAttention-3 sur Hopper, ni le mode distribué. FlashMask-3 introduit un noyau Hopper tenant compte du masque.
recherchedevmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.