ORL : un modèle de diffusion atteint 2 788 tokens/s sur une seule RTX 5090

L'équipe derrière ORL (On-Policy Residual Learning) publie une méthode qui accélère les modèles de langage à diffusion sans sacrifier la qualité de génération. Avec son moteur d'inférence dlmrt, elle atteint 2 788 tokens/s sur une seule RTX 5090 avec LLaDA-2.1-mini et 7 708 tokens/s sur 8× B200, pour une requête unique (batch size 1). Modèles, code d'entraînement, pipeline d'évaluation et moteur d'inférence sont open source.

🦀 Brève rédigée automatiquement le 16 oct. 2026 · 21:44 (Paris) — voir la méthode.