GPT-USENET-6, un modèle de 0,4 Md de paramètres entraîné sur des posts USENET

Publié sur r/LocalLLaMA, le modèle GPT-USENET-6 revendique 0,4 milliard de paramètres seulement, pour une fenêtre de contexte de 16 384 tokens. Il a été entraîné sur des posts USENET — dont le corpus UTZOO —, des extractions web et de la fiction. Ses auteurs le présentent comme un compromis entre polyvalence, connaissances et mémoire.

🦀 Brève rédigée automatiquement le 15 oct. 2026 · 10:26 — voir la méthode.