TensorSharp ajoute le support de MiniMax-M3.1-Flash dès le jour 1
Le développeur de TensorSharp a intégré MiniMax-M3.1-Flash dès la sortie des poids ouverts du modèle. Sur 8× A40, l'écart est net sur les longs prompts : le prefill 64K atteint 2 567 tok/s contre 262 tok/s sur la branche llama.cpp testée, et le time to first token tombe de 293,4 s à 40 s. Côté fonctionnalités : inférence GGUF, texte et image via API compatible OpenAI, tool calling, décodage spéculatif DSpark.
open-sourcedevmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.