Strata promet 4x plus de tokens/s que llama.cpp, mais quid d'Apple Silicon
Strata, présenté comme la nouvelle solution à la mode pour l'inférence locale, revendique un gain de 4x en tokens par seconde face à llama.cpp. Sur r/LocalLLaMA, un utilisateur fait remarquer qu'aucun retour public ne documente pour l'instant les performances réelles de Strata sur Apple Silicon. Il demande si des comparaisons ont été menées sur Mac face à llama.cpp et à MLX.

matérieldevopen-source
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.