Strata adapté au Jetson AGX Orin 64 Go : jusqu'à 40 tok/s sur Qwen3.6-35B-A3B
Un fork de Strata v0.1.45 vise le Jetson AGX Orin 64 Go, surtout avec Qwen3.6-35B-A3B. Sur des tests courts et contrôlés, son auteur atteint environ 40 à 41 tok/s avec MTP-2 échantillonné, contre environ 30 tok/s sur ses runs Strata antérieurs et 21 tok/s en décodage MTP-3 sous llama.cpp. Le fork ajoute cache KV INT8 unifié, checkpoints de préfixe et préallocation KV optionnelle. Mesures non appariées, précise-t-il.
open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.