NInfer 0.3.0 : l'inférence Qwen3 sur RTX 2080 Ti 22 Go passe en natif Windows
La version 0.3.0 de NInfer pour Turing est disponible. Ce moteur fait tourner les modèles Qwen3.6/8-27B — et seulement eux — sur une unique RTX 2080 Ti modifiée à 22 Go, en n'utilisant que la VRAM, sans déport vers la RAM système, ce qui exclut le 35B-A3B. Il fonctionne désormais nativement sous Windows, sans WSL2 ni Docker, et se lance via une archive précompilée et un script. Les fine-tunes et abliterations restent pris en charge via le convertisseur de checkpoints .ninfer.
matérielopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.