llama.cpp prend en charge Kolibri-1, le modèle MoE d'Aleph Alpha
Le support de Kolibri-1 vient d'être ajouté à llama.cpp via une pull request. Ce modèle d'Aleph Alpha est un MoE de 78 milliards de paramètres dont 3,46 milliards actifs par token, orienté allemand et anglais, avec mode de raisonnement explicite et appel d'outils. Il encaisse jusqu'à 1 048 576 tokens de contexte, même si le fournisseur recommande de rester sous 262 144. Les GGUF ne sont pas encore disponibles.

open-sourcerecherchedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.