IBM : un modèle Granite « switch » arrive dans llama.cpp pour l'exécution en local
IBM dispose d'une collection Granite switch sur Hugging Face, relayée sur r/LocalLLaMA. En parallèle, une pull request ouverte par gabe-l-hart dans le dépôt ggml-org/llama.cpp (#30676) traite du modèle Granite switch. Le fil met en avant l'intérêt de la manœuvre : pouvoir exécuter ce modèle d'IBM en local, via le moteur d'inférence llama.cpp.

open-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.