Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Un draft DFlash pour Ling-3.0-tiny sur llama.cpp mainline, +61 % en code

Un utilisateur de r/LocalLLaMA convertit ses PDF en markdown avec Ling-3.0-tiny, qu'il trouve lent. Le draft UBTree DFlash paru pour ce modèle n'était supporté par aucun moteur d'inférence : il en a extrait la partie DFlash seule, en écartant 7 tenseurs ubtree_selector.*. Ce draft tourne sur llama.cpp mainline via --spec-type draft-dflash, pour un gain annoncé de 8 % en prose et 61 % en code.

Illustration générée : couches de calcul.
Illustration générée localement — modèles. Schéma symbolique, pas une photographie.
open-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.