Un benchmark de code en 5 tâches sur 16 Go de VRAM, version 2
Un membre de r/LocalLLaMA publie la version 2 de son benchmark de code : cinq tâches algorithmiques, une sélection de modèles différente et des tests resserrés, sur une machine à 16 Go de VRAM et 32 Go de RAM. Les résultats sont dans un dépôt GitHub (Tako88/coding-bench), les tableaux étant peu lisibles sur Reddit. L'auteur dit avoir été surpris par CyberTiel et Ornith, et juge LFM et Mellum mauvais même sur des charges réelles.
open-sourcedevmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.