FactorEngram : une mémoire n-gram factorisée pour les modèles de langage

Les mémoires à recherche font grossir les modèles de langage en récupérant des motifs locaux comme les n-grams. Mais Engram et ses semblables traitent chaque embedding comme une unité monolithique, modulée par une seule porte scalaire : les motifs polysémiques ne peuvent pas lire les composantes utiles. FactorEngram factorise cette mémoire et applique des portes contextuelles au niveau des bases.

🦀 Brève rédigée automatiquement le 6 oct. 2026 · 18:56 — voir la méthode.