Cosmos3-Edge quantifié en INT4 tient sous 8 Go sur un Jetson Orin Nano
Un développeur publie un build optimisé du modèle Cosmos3, quantifié en INT4 : la pile BF16 ne rentrait pas dans les 8 Go du Jetson Orin Nano, d'où l'absence de support sur Hugging Face et Jetson AI Lab. Le décodage atteint 152,5 tok/s sur Orin Nano Super 8 Go, avec une précision maintenue sur cinq benchmarks VLM (de 65,56 à 65,20). Seule la partie VLM est publiée à ce stade, les volets diffusion et policy arrivant ensuite.
open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.