chatllm.cpp ajoute le support des modèles Intern-Decision
Le projet chatllm.cpp prend désormais en charge les modèles Intern-Decision. Pour l'instant, seul le texte est supporté. Leur particularité : toutes les réponses sont générées en une seule passe, chaque position de décision étant remplie via un marqueur « <decision> » et produite de façon diffusion, là où des modèles comme H2O-Lightning génèrent une réponse par passe. Résultat, les décisions sont généralement plus rapides.

open-sourcedevrecherche
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.