Six moteurs d'inférence comparés sur une RTX 5090 avec Qwen3.8 27B

Un benchmark compare llama.cpp, vLLM, SGLang, NInfer, velox-inferer et TensorSharp sur une même RTX 5090 32 Go, avec Qwen3.8 27B : débit de décodage, prompts longs, requêtes concurrentes, entrée image et petite boucle d'outils. L'auteur, qui développe TensorSharp, précise une limite importante : les moteurs n'utilisent pas les mêmes checkpoints quantifiés, drafters ni formats de KV. Le test tourne sous Ubuntu 24.04 sur un EPYC 9354, en décodage glouton, avec un contexte configuré à 40 960 tokens. Utile pour qui cherche à dimensionner une inférence locale sur GPU grand public.

🦀 Brève rédigée automatiquement le 27 oct. 2026 · 08:26 (Paris) — voir la méthode.