LLM local : un retour après deux ans d'absence sur une RTX A6000
Après une pause entre 2024 et 2025, un développeur de r/LocalLLaMA veut remettre sa machine à niveau pour faire tourner des modèles en local. Configuration : RTX A6000 48 Go de GDDR6, 64 Go de DDR4-3200, Xeon E3-1270 v5 et Ubuntu 22.04 sous Lambda Stack. Le poste servait jusqu'ici au chat via OpenWebUI. Il demande des conseils pour choisir sa stack d'inférence et son modèle, citant vLLM et Qwen.

matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.