LFM3-Omni-2B tourne dans le navigateur via WebGPU
LFM3-Omni-2B, modèle omni de LiquidAI, tourne entièrement dans un navigateur grâce à WebGPU, sans modèle ASR ou TTS séparé. Il accepte des entrées visuelles, audio ou texte et produit des tokens texte et audio entrelacés. Avec des kernels WebGPU dédiés, il atteint environ 280 tok/s sur une M4 Max, pour 90 ms jusqu'au premier token et 140 ms jusqu'au premier audio.

devmatérielrecherche
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.