Un framework Java revendique 90 % des perfs de llama.cpp en local

Le projet TornadoVM se présente comme un moteur de compilation de Java vers CUDA, et jitLLM comme le moteur d'inférence qui l'exploite. Les deux revendiquent 90 % des performances de llama.cpp pour l'inférence locale sur GPU NVIDIA. Une conférence technique détaillée accompagne les dépôts de code.

🦀 Brève rédigée automatiquement le 8 oct. 2026 · 13:25 — voir la méthode.