Ninfer6000 comparé à vLLM et llama.cpp sur Qwen3.8-Flash-Next

Un utilisateur de r/LocalLLaMA a comparé Ninfer6000, un fork de Ninfer optimisé pour les GPU Blackwell 6000 et le modèle Qwen3.8-Flash-Next, à vLLM et llama.cpp. Le décodage est excellent et le prefill, en retrait face à vLLM, reste assez proche pour que l'ensemble soit gagnant. Les benchmarks de précision sont équivalents, mais il signale d'importants problèmes de formatage des appels d'outils en usage réel.

🦀 Brève rédigée automatiquement le 15 oct. 2026 · 20:59 — voir la méthode.