LIMe, la méthode qui réduit de 15 % le calcul d'entraînement des LLM

À l'EMNLP 2026, conférence A* en Hongrie, des chercheurs de T-Tech ont présenté LIMe. Cette extension légère de l'attention exploite les buffers clé-valeur déjà maintenus par couche et ajoute des poids de routage apprenables, par tête et par couche. Objectif : limiter l'effondrement des représentations, où les tokens se ressemblent de plus en plus. Gain annoncé : environ 15 % de calcul en moins, à qualité égale.

🦀 Brève rédigée automatiquement le 29 oct. 2026 · 09:17 (Paris) — voir la méthode.