Monadize, un fine-tune de Gemma 4 31B pour varier les noms de personnages
Monadize, un fine-tune de Gemma 4 31B, veut réduire les noms de personnages répétitifs du type « Elara » ou « Elias ». L'approche : décaler la distribution du token suivant et tokeniser caractère par caractère les nouveaux noms. Bannir des tokens ou exclure les prénoms courants par prompt ne touche pas la distribution sous-jacente. À température 1, l'auteur a généré 30 noms pour mesurer le gain.

rechercheopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.