Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

LFM3-Omni-2B tourne dans le navigateur via WebGPU

LFM3-Omni-2B, modèle omni de LiquidAI, tourne entièrement dans un navigateur grâce à WebGPU, sans modèle ASR ou TTS séparé. Il accepte des entrées visuelles, audio ou texte et produit des tokens texte et audio entrelacés. Avec des kernels WebGPU dédiés, il atteint environ 280 tok/s sur une M4 Max, pour 90 ms jusqu'au premier token et 140 ms jusqu'au premier audio.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
devmatérielrecherche

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.