Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

DSpine : le conditionnement causal injecté dans toute la profondeur du draft

Le papier DSpine, publié par Tencent, s'attaque au draft spéculatif parallèle : sélectionner les tokens indépendamment peut produire des continuations incohérentes et raccourcir le préfixe accepté. Les méthodes existantes cantonnent le décodage conditionnel à un module léger placé après le backbone, ce qui limite la remontée d'information du prédécesseur vers le successeur. DSpine propose une injection adjacente à chaque couche : la feature prédite du prédécesseur est écrite dans son successeur via une porte, la chaîne causale se déploie donc sur la profondeur du réseau alors que toutes les positions se mettent à jour en parallèle.

Illustration générée : réseau abstrait générique.
Illustration générée localement — réseau numérique (repli générique). Schéma symbolique, pas une photographie.
recherchedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.