KFlash : Kapitsa 0.2 face à Splash 1.4.0 sur Mac Apple Silicon
Kapitsa, moteur d'inférence open source optimisé Apple Silicon pour les modèles Qwen et Nemotron, sort en 0.2 avec KFlash, une nouvelle méthode de décodage spéculatif. Là où DFlash2 (Splash 1.4.0 d'Inco) vérifie une seule chaîne de tokens devinés et s'arrête à la première erreur, KFlash explore un arbre de candidats classés dans la même passe. Les deux moteurs ont été comparés sur MacBook Pro M4 Pro 48 Go et M1 Pro 16 Go.
open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.