Un mini PC Snapdragon à 300 £ : 46 tok/s en lecture sur Flash Next
Un développeur détaille sur r/LocalLLaMA les performances d'un Lenovo IdeaCentre Mini payé 299,99 £ : Snapdragon X X1-26-100 (8 cœurs Oryon, NPU Hexagon, GPU Adreno inutilisé), 32 Go de LPDDR5, les modèles étant streamés depuis le NVMe de 512 Go. Avec son moteur maison, nom de code ToRc, pas encore publié, il mesure 315/43 tok/s sur A3b et 46/20 tok/s sur Flash Next en lecture/génération. Il avait auparavant porté Janas sur ARM : kernels NEON, build Windows on ARM et correctif de bug de cache.
matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.