Inférence LLM sur NPU RK3588 sans les bibliothèques Rockchip, 2x plus rapide

Un développeur publie open_rknpu2_lm_infer, moteur d'inférence pour le NPU des cartes Rockchip RK3588 qui se passe des bibliothèques propriétaires du fabricant. Le code hôte est en Rust, les opérateurs NPU en C++, lisibles et modifiables. Il gère désormais Qwen3.5-4B avec entrée image et décodage spéculatif MTP optionnel, et revendique 10,61 tok/s en décodage contre 5,54 pour RKLLM 1.3.1.

🦀 Brève rédigée automatiquement le 21 oct. 2026 · 00:24 (Paris) — voir la méthode.