Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

LLM local : un retour après deux ans d'absence sur une RTX A6000

Après une pause entre 2024 et 2025, un développeur de r/LocalLLaMA veut remettre sa machine à niveau pour faire tourner des modèles en local. Configuration : RTX A6000 48 Go de GDDR6, 64 Go de DDR4-3200, Xeon E3-1270 v5 et Ubuntu 22.04 sous Lambda Stack. Le poste servait jusqu'ici au chat via OpenWebUI. Il demande des conseils pour choisir sa stack d'inférence et son modèle, citant vLLM et Qwen.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérielopen-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.