Un modèle de décision de 0,6B fine-tuné dépasse son homologue de 27B
En prenant vLLM-SR d3-edge (0,6B) et en le fine-tunant avec un simple SFT et LoRA, un utilisateur a comparé ses performances à celles de d3 (27B). Avec quelques milliers d'exemples d'entraînement, le petit modèle dépasse le 27B sur les décisions typées et l'égale presque sur Banking77. L'auteur plaide pour le fine-tuning de petits modèles spécialisés plutôt que le recours à de grands modèles généralistes.
recherchedevopen-source
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.