Qwen3.8-27B atteint 40 tok/s sur Jetson Thor, à précision niveau FP16
Embedl détaille les performances de Qwen3.8-27B sur Jetson Thor : 39,6 tok/s en décodage, 23,6 tok/s de bout en bout, 24,8 GiB au pic. Le modèle combine quantification INT4 maison (environ moitié de l'erreur d'AWQ), LM head « FlashHead » et tête MTP pour le décodage spéculatif, sur TensorRT Edge-LLM. La précision reste au niveau FP16 : 96,4 GSM8K, 83,5 IFEval, 79,1 MMLU-Pro.
matérielopen-sourcerecherche
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.