DSpine : le conditionnement causal injecté dans toute la profondeur du draft
Le papier DSpine, publié par Tencent, s'attaque au draft spéculatif parallèle : sélectionner les tokens indépendamment peut produire des continuations incohérentes et raccourcir le préfixe accepté. Les méthodes existantes cantonnent le décodage conditionnel à un module léger placé après le backbone, ce qui limite la remontée d'information du prédécesseur vers le successeur. DSpine propose une injection adjacente à chaque couche : la feature prédite du prédécesseur est écrite dans son successeur via une porte, la chaîne causale se déploie donc sur la profondeur du réseau alors que toutes les positions se mettent à jour en parallèle.

recherchedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.