Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

AbliteratedOutTheBox : retirer le refus d'un modèle au moment de l'inférence

AbliteratedOutTheBox est un fork de llama.cpp qui « abliterate » n'importe quel modèle au chargement, directement à l'inférence, sans fine-tuning ni fichiers supplémentaires. La manipulation se fait sans coût additionnel en VRAM, ce qui supprime les étapes habituellement nécessaires pour produire une version abliterée d'un modèle. Le projet est publié sur GitHub par heterodoxin.

Illustration générée : couches de calcul.
Illustration générée localement — modèles. Schéma symbolique, pas une photographie.
open-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.