Un draft DFlash pour Ling-3.0-tiny sur llama.cpp mainline, +61 % en code
Un utilisateur de r/LocalLLaMA convertit ses PDF en markdown avec Ling-3.0-tiny, qu'il trouve lent. Le draft UBTree DFlash paru pour ce modèle n'était supporté par aucun moteur d'inférence : il en a extrait la partie DFlash seule, en écartant 7 tenseurs ubtree_selector.*. Ce draft tourne sur llama.cpp mainline via --spec-type draft-dflash, pour un gain annoncé de 8 % en prose et 61 % en code.

open-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.