Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

llama.cpp : charger les fichiers PLE depuis un GGUF séparé

Une pull request de pwilkin pour llama.cpp ajoute un argument --shard pour charger un modèle depuis plusieurs emplacements, dont les fichiers PLE (engram) d'un GGUF séparé. La conversion sait désormais produire un GGUF sans PLE et un GGUF PLE seul, pour les modèles compatibles : Gemma4, Qwen3.8Next et GLM5.3Flash. Le multi-shard permet de combiner des fragments de fournisseurs différents.

Illustration générée : couches de calcul.
Illustration générée localement — modèles. Schéma symbolique, pas une photographie.
open-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.