Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Strata promet 4x plus de tokens/s que llama.cpp, mais quid d'Apple Silicon

Strata, présenté comme la nouvelle solution à la mode pour l'inférence locale, revendique un gain de 4x en tokens par seconde face à llama.cpp. Sur r/LocalLLaMA, un utilisateur fait remarquer qu'aucun retour public ne documente pour l'instant les performances réelles de Strata sur Apple Silicon. Il demande si des comparaisons ont été menées sur Mac face à llama.cpp et à MLX.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérieldevopen-source

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.