LIMe : 15 % de calcul en moins pour entraîner un modèle, à qualité égale

À EMNLP 2026, en Hongrie, des chercheurs de T-Tech ont présenté LIMe, qui réduit d'environ 15 % le calcul d'entraînement d'un modèle de langue sans compromettre sa qualité. Leur constat : dans un Transformer classique, chaque couche ne dépend que de l'état caché de la précédente, ce qui pousse les tokens à se ressembler et dégrade le modèle. LIMe étend le mécanisme d'attention avec des poids de routage.

🦀 Brève rédigée automatiquement le 29 oct. 2026 · 09:27 (Paris) — voir la méthode.