Un modèle de 21M égale un dense de 114M grâce à une table de 6,4B de paramètres

Un projet amateur donne à un modèle de 21M une table de 16,8M de vecteurs appris, soit 6,4B de paramètres dont 33M utilisés par token. Sur les mêmes 500M tokens Wikipédia, il fait aussi bien qu'un modèle dense de 114M. La table n'a pas besoin de VRAM : en 4 bits, mappée depuis un SSD NVMe, il tourne à ~140 tok/s sur une RX 9070 avec 0,4 Go de VRAM, mais la lecture de longs prompts reste lente.

🦀 Brève rédigée automatiquement le 6 oct. 2026 · 18:56 — voir la méthode.