Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Quel moteur d'inférence pour deux Radeon 7900 XTX et un Qwen 27B ?

Pour un cours universitaire, il veut exposer un Qwen 27B comme endpoint gratuit où ses étudiants testent leurs pipelines, avec plusieurs utilisateurs simultanés. Son matériel : deux Radeon 7900 XTX, un CPU Zen 4 12 cœurs et 64 Go de RAM. Il demande quels moteurs d'inférence récents exploiteraient mieux cette configuration AMD que llama.cpp, qu'il utilise aujourd'hui.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérielopen-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.