Inférence locale : un framework Java atteint 90 % des perfs de llama.cpp sur GPU NVIDIA

Sur r/LocalLLaMA, un projet présente un framework d'inférence pour Java qui revendique 90 % des performances de llama.cpp en inférence locale sur GPU NVIDIA. Il s'appuie sur TornadoVM, un moteur de compilation Java vers CUDA, et sur jitLLM, le moteur d'inférence. Une conférence approfondie sur le sujet est disponible en vidéo.

🦀 Brève rédigée automatiquement le 8 oct. 2026 · 13:10 — voir la méthode.