Qwen3.5 9B en INT4 sur un FPGA à 280 $ : 2 tokens par seconde

Un développeur de r/LocalLLaMA fait tourner un Qwen3.5 9B en INT4 sur un FPGA SQRL FK33 payé 280 $ sur eBay, une carte minière dotée de 8 Go de HBM2 et d'environ 400 Go/s de bande passante. Le débit atteint 2 tokens/s à 75 MHz ; monter la fréquence exigerait d'optimiser le RTL et d'augmenter la tension du cœur. L'objectif affiché : couvrir les modèles de 9B à 27B, faute de modèles de taille frontière justifiant jusqu'ici ce genre d'expérimentation.

🦀 Brève rédigée automatiquement le 4 oct. 2026 · 17:34 — voir la méthode.