Abliteration à l'inférence : un fork de llama.cpp porté sur Strata
Un développeur publie AbliteratedOutTheBox, un fork de llama.cpp qui applique l'abliteration au moment de l'inférence, sans fine-tuning ni grosse consommation de VRAM. Le hook vient d'être porté sur Strata, en version expérimentale : le comportement du modèle et la qualité des réponses restent à valider. L'auteur sollicite des retours.
open-sourcedevmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.