DeepSeek publie DeepInfer, un moteur d'inférence open source
DeepSeek met à disposition DeepInfer, un framework d'inférence open source présenté comme performant et adapté aux modèles de grande échelle. Ses auteurs le destinent à l'exécution des modèles DeepSeek. La communauté y voit surtout une occasion d'étudier le fonctionnement interne de moteurs d'inférence pour améliorer les implémentations existantes, comme celles de gufo, halogen, strixite ou Strata.

deepseekopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.