Quel moteur d'inférence pour deux Radeon 7900 XTX et un Qwen 27B ?
Pour un cours universitaire, il veut exposer un Qwen 27B comme endpoint gratuit où ses étudiants testent leurs pipelines, avec plusieurs utilisateurs simultanés. Son matériel : deux Radeon 7900 XTX, un CPU Zen 4 12 cœurs et 64 Go de RAM. Il demande quels moteurs d'inférence récents exploiteraient mieux cette configuration AMD que llama.cpp, qu'il utilise aujourd'hui.

matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.