Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Un serveur DDR3 d'occasion à 550 dollars pour l'inférence de gros modèles

Un internaute de r/LocalLLaMA se demande si un serveur DDR3 d'occasion peut servir à l'inférence de gros modèles. La machine, un Dell PowerEdge R820 proposé à 550 dollars, embarque quatre Xeon E5-4640 cadencés de 2,40 à 2,80 GHz, 768 Go de RAM ECC et deux disques de 146 Go. Il envisage d'y ajouter un GPU, en s'appuyant sur les modèles MoE à 8 ou 16 milliards de paramètres actifs comme DeepSeek et sur les projets récents qui promettent de faire tourner de gros MoE sur des ordinateurs de bureau.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérieldeepseekopen-source

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.