Well then, here’s our first release to the archive.
We achieve a 4.37-fold speedup over autoregressive decoding, and outperform a highly optimized DFlash baseline by 24.7%
This is speculative decoding. SOTA (well, on qwen3.6 for sure). We beat everything known in public (well, dflash). A super important topic for fast on-device inference, especially when you actually understand the task.
GitHub
HF
Support in our inference engine will roll in soon enough
Links from the original post:
- https://arxiv.org/abs/2607.06763
- https://github.com/trymirai/sglang
- https://huggingface.co/trymirai/weaver
Original (RU)
Ну что ж, вот и наш первый релиз на
архив
.
we achieve a 4.37-fold speedup over autoregressive decoding, and outperform a highly optimized DFlash baseline by 24.7%
Это спекулятивный декодинг. SOTA(ну на qwen3.6 точно). Бьем все, что есть известного в паблике (ну dflash). Супер важная тема для быстрого инференса на устройстве, особенно когда понимаешь задачу.
GitHub
HF
Поддержка в нашем инференс движке скоро доедет