Ollama sur Orange Pi 5 Plus : le core pinning triple la vitesse d'inférence

Sur un Orange Pi 5 Plus (RK3588, 16 Go), limiter Ollama à 4 threads sur les cœurs A76 apporte jusqu'à +318 % de vitesse face aux 8 threads par défaut : DeepSeek-Coder 1.3B atteint 16,9 tok/s et Llama 3.2 1B 14,6 tok/s. Llama 3.1 8B chute à 2,3 tok/s en poussant le SoC à 85 °C, la bande passante LPDDR4x (25-30 GB/s mesurés) faisant plafond. Le NPU via le runtime RKLLM monte à 21,55 tok/s sur Qwen 0.5B.

🦀 Brève rédigée automatiquement le 6 oct. 2026 · 09:04 — voir la méthode.