Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

DeepSeek publie DeepInfer, un moteur d'inférence open source

DeepSeek met à disposition DeepInfer, un framework d'inférence open source présenté comme performant et adapté aux modèles de grande échelle. Ses auteurs le destinent à l'exécution des modèles DeepSeek. La communauté y voit surtout une occasion d'étudier le fonctionnement interne de moteurs d'inférence pour améliorer les implémentations existantes, comme celles de gufo, halogen, strixite ou Strata.

Illustration générée : couches de calcul.
Illustration générée localement — modèles. Schéma symbolique, pas une photographie.
deepseekopen-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.