Config QFN sur une A40 48 Go : un utilisateur demande des retours

Sur r/LocalLLaMA, un utilisateur cherche des configurations éprouvées pour faire tourner du QFN sur une A40, une carte Ampere dotée de 48 Go de VRAM. La machine qui l'héberge dispose de 128 Go de RAM DDR3 et fait tourner pour l'instant un modèle de 27B. Il espère passer au QFN pour gagner en vitesse et obtenir un modèle un peu plus fin.

🦀 Brève rédigée automatiquement le 29 sept. 2026 · 22:02 — voir la méthode.