Gufo, moteur IA open source pour Strix Halo, détaille le cache de son modèle hybride
Gufo, projet open source sous licence MIT lancé par deux amis pour tirer le meilleur du chip AMD Strix Halo, signe son premier article de blog. Il y explique comment le moteur met en cache un modèle hybride. Sorti il y a près d'un mois, Gufo inaugure ainsi une série d'articles sur les concepts et choix de conception d'un moteur d'inférence IA, jugés utiles même sans posséder la puce.
open-sourcedevmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.