llama.cpp : charger les fichiers PLE depuis un GGUF séparé
Une pull request de pwilkin pour llama.cpp ajoute un argument --shard pour charger un modèle depuis plusieurs emplacements, dont les fichiers PLE (engram) d'un GGUF séparé. La conversion sait désormais produire un GGUF sans PLE et un GGUF PLE seul, pour les modèles compatibles : Gemma4, Qwen3.8Next et GLM5.3Flash. Le multi-shard permet de combiner des fragments de fournisseurs différents.

open-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.