RDNA2 : quelles alternatives à llama.cpp pour les LLM en local ?
La plupart des outils publiés pour les GPU AMD reposent sur WMMA, une technologie disponible seulement à partir de RDNA3. En génération d'images ou de vidéos, il est parfois possible de contourner le problème avec triton, mais côté LLM, une chose fonctionne ou non sur RDNA2. L'auteur cite strata, qui propose un chemin RDNA2 ayant fonctionné avec le modèle coder testé, mais uniquement pour un seul gros modèle d'usage limité. La question posée : existe-t-il des applications ou des forks autres que llama.cpp de base, plus performants sur RDNA2, si possible sous Windows.

matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.