Hy4 flash : 224 milliards de paramètres, 12 milliards actifs par token
Hy4 flash est le nouveau modèle de la famille Hy, présenté comme le plus économique à ce jour. Il compte 224 milliards de paramètres au total, dont 64 milliards de paramètres Engram, pour seulement 12 milliards de paramètres actifs par token. Comme Hy4, il est nativement multimodal et dispose d'une fenêtre de contexte d'un million de tokens, avec un tarif API nettement inférieur.

recherchedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.