Des suggestions pour Gemma 5 : transformer bouclé et Engram de DeepSeek
Sur r/LocalLLaMA, un utilisateur répond à l'appel à idées d'Omar Sanseviero pour les futurs modèles Gemma. Il propose un transformer bouclé à profondeur configurable, pour corriger la faiblesse de raisonnement de Gemma 4, dont la concision nuit à certaines tâches. Autre piste : intégrer l'Engram de DeepSeek, qui élargirait les connaissances du modèle pour quelques gigaoctets de RAM ou de SSD.
deepseekrechercheopen-source
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.