DeepSeek V4.1 Flash en local sur un GPU gaming, démarrage d'agent 20× plus rapide
Un utilisateur de r/LocalLLaMA fait tourner DeepSeek V4.1 Flash en 1M de contexte, entièrement hors ligne via Strata, sur une RX 9070 XT 16 Go, un 5800X3D, 64 Go de DDR4 et un NVMe PCIe 3.0 — les experts étant répartis entre VRAM, RAM et SSD. La génération à ~7 tok/s lui convenait ; le point noir était la lecture du prompt : chaque session OpenCode relisait ~37K tokens de prompt système et d'outils, soit environ 100 s avant le premier token. Il a donc patché le moteur DeepSeek, avec deux changements, pour accélérer d'un facteur 20 le démarrage des sessions d'agent. La réponse, ironique, à Sam Altman qui jugeait « assez terrible » de laisser de la DRAM mondiale dormir dans les ordinateurs personnels.
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.