Un serveur DDR3 d'occasion à 550 dollars pour l'inférence de gros modèles
Un internaute de r/LocalLLaMA se demande si un serveur DDR3 d'occasion peut servir à l'inférence de gros modèles. La machine, un Dell PowerEdge R820 proposé à 550 dollars, embarque quatre Xeon E5-4640 cadencés de 2,40 à 2,80 GHz, 768 Go de RAM ECC et deux disques de 146 Go. Il envisage d'y ajouter un GPU, en s'appuyant sur les modèles MoE à 8 ou 16 milliards de paramètres actifs comme DeepSeek et sur les projets récents qui promettent de faire tourner de gros MoE sur des ordinateurs de bureau.

matérieldeepseekopen-source
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.