Sur r/LocalLLaMA, le débat sur les posts de records de vitesse
Sur r/LocalLLaMA, un membre s'interroge sur la multiplication des posts annonçant des records de vitesse de génération, à 300 tokens par seconde. Il pointe des réglages très particuliers : quantification Q1_XXXS REAP, décodage greedy, TAIL_SKIP, et des modèles dont une partie des experts reste hors de la RAM disponible. L'absence de données de benchmark KLD lui fait douter de la valeur réelle de ces annonces pour la communauté.
open-sourcedevrecherche
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.