Gufo, moteur d'inférence open source pour AMD Strix Halo, lance son blog technique
Gufo, projet lancé il y a près d'un mois sous licence MIT par deux amis, vise à tirer le meilleur de la puce AMD Strix Halo tout en supportant quelques modèles de premier plan. Son premier billet de blog détaille comment le moteur met en cache un modèle hybride. Les deux développeurs veulent prolonger le projet par une série d'articles expliquant les concepts et choix de conception d'un moteur d'inférence IA, utiles même sans posséder une Strix Halo.

open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.