Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Overclocker la DDR5 pour accélérer prefill et decode des modèles MoE

Un utilisateur de llama.cpp (backend SYCL personnalisé sur Intel B70 32 Go) a overclocké sa DDR5 de 3600 à 4800 MHz sur un AMD 7950X avec 128 Go en 4x dual-rank. Gain mesuré : 36 % de bande passante mémoire, environ 10 % en prefill et 5 % en génération. Les gains restent modestes et concernent surtout les modèles MoE qui ne tiennent pas en VRAM, le prefill progressant avec la profondeur du contexte.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérieldevopen-sourcerecherche

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.