Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

chatllm.cpp ajoute le support des modèles Intern-Decision

Le projet chatllm.cpp prend désormais en charge les modèles Intern-Decision. Pour l'instant, seul le texte est supporté. Leur particularité : toutes les réponses sont générées en une seule passe, chaque position de décision étant remplie via un marqueur « <decision> » et produite de façon diffusion, là où des modèles comme H2O-Lightning génèrent une réponse par passe. Résultat, les décisions sont généralement plus rapides.

Illustration générée : couches de calcul.
Illustration générée localement — modèles. Schéma symbolique, pas une photographie.
open-sourcedevrecherche

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.