Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Infermeld : un GGUF sur GPU AMD et NVIDIA sous Linux

Infermeld est un kit compagnon open-source sous Linux permettant de faire tourner un même GGUF sur un GPU AMD et un GPU NVIDIA, avec llama.cpp comme moteur d'inférence. Son mainteneur publie une v0.1.0 expérimentale : il ne s'agit pas d'un nouveau backend, mais d'un ensemble d'outils autour de la sélection explicite des devices AMD/Vulkan et NVIDIA/CUDA, avec preflight à l'exécution. Le kit fournit aussi des instructions de build reproductibles, des arguments de lancement inspectables et un garde-fou thermique en lecture seule. L'objectif : réutiliser des cartes des deux fabricants déjà en sa possession, sans acheter une paire identique, et le mainteneur cherche des testeurs ayant d'autres combinaisons mixtes.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
open-sourcematérieldev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.