Un LLM fait tourner un autre LLM dans les poids de Qwen 3.5-4B
Après avoir logé un CPU RISC-V dans Qwen, le même développeur pousse la logique plus loin avec QwenPU : un LLM, stories260k de Karpathy, qui tourne sur un NPU compilé dans les poids de Qwen 3.5-4B. Ce NPU embarqué exécute matmuls, softmax et attention de façon bit-exact, les poids du petit modèle résidant dans la mémoire de Qwen, sans outil externe. Code et poids sont publiés.

open-sourcerecherchedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.