Clover-35B-A3B : DiffuSpace dévoile son premier modèle de diffusion open-source
DiffuSpace publie Clover-35B-A3B-Preview, son premier modèle. Ce modèle de diffusion open-source combine un socle mixture-of-experts de 35 milliards de paramètres, environ 3 milliards de paramètres actifs par token, une génération par diffusion par blocs et un contexte de 128K. L'éditeur annonce les meilleures performances parmi les modèles de diffusion open-source sur les benchmarks présentés au lancement.

open-sourcerecherchedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.