Nanbeige4.3-33B en 4 bits sur MacBook Pro M5 Max : trois moteurs comparés
Un contributeur de Kapitsa a mesuré le modèle dense Nanbeige4.3-33B en 4 bits sur un MacBook Pro M5 Max de 128 Go, avec trois moteurs Apple Silicon : mlx-lm, llama.cpp et Kapitsa. Il compare prefill, decode, temps jusqu'au premier token, latence de suivi et mémoire, de 512 à 32K tokens. L'auteur travaille sur Kapitsa (open source, Apache 2.0) : il invite à lire les chiffres avec cette réserve.
open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.