Un dev sceptique raconte son passage à l'IA locale avec llama.cpp
Développeur depuis dix ans, l'auteur se méfiait de l'IA jusqu'à ce qu'un ami lui en parle début 2025. En mars 2025, il lance Mistral Nemo Q4_K_M avec un contexte de 8K en F16 sur une AMD Radeon RX 7800 XT 16 Go, d'abord via Ollama puis LM Studio. Surpris de pouvoir dialoguer avec sa machine, il détourne ensuite SillyTavern et koboldcpp pour retrouver ses parties de jeu de rôle.

open-sourcedevmistralmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.