Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Qwen3.5 9B en INT4 sur un FPGA à 280 $ : 2 tokens par seconde

Un développeur de r/LocalLLaMA fait tourner un Qwen3.5 9B en INT4 sur un FPGA SQRL FK33 payé 280 $ sur eBay, une carte minière dotée de 8 Go de HBM2 et d'environ 400 Go/s de bande passante. Le débit atteint 2 tokens/s à 75 MHz ; monter la fréquence exigerait d'optimiser le RTL et d'augmenter la tension du cœur. L'objectif affiché : couvrir les modèles de 9B à 27B, faute de modèles de taille frontière justifiant jusqu'ici ce genre d'expérimentation.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérielopen-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.