Major release from our small lab. Support for speculative decoding in our inference engine.
.
To start: Qwen3.6 27B, support for Qwen3.8 27B and Muse Glimmer is on the way.
We massively outperform every possible stack for Apple Silicon on performance. Because we just went and did everything as co-design: kernels, quantization, and speculation. All from scratch, all ours.
You can try it already today
M checkpoint
- smaller
L checkpoint
(lossless)
All the models we support are here, we’ll be happy if you try something else too.
Benches are here. You can dig into what and how was measured and how much better it is.
More details about the release — blog post
Links:
https://github.com/trymirai/uzu
https://trymirai.com/local-models/alibaba-qwen3-6-27b-mirai-mirai-m-4
https://trymirai.com/local-models/alibaba-qwen3-5-9b-mirai-mirai-l-8
https://trymirai.com/local-models
https://trymirai.com/metrics
https://trymirai.com/blog/speculative-decoding-in-uzu
Original (RU)
Major release от нашей небольшой лабы. Поддержка спекулятивного декодинга в
нашем инференс движке (https://github.com/trymirai/uzu)
.
Для начала Qwen3.6 27B, поддержка Qwen3.8 27B и Muse Glimmer в пути.
Мы сильно превосходим все возможные стеки для Apple Silicon по производительности. Потому что взяли и все сделали как ко-дизайн: кернелы, квантизация и спекуляция. Все с нуля, все свое.
Попробовать можно уже сегодня
M checkpoint (https://trymirai.com/local-models/alibaba-qwen3-6-27b-mirai-mirai-m-4)
- поменьше
L checkpoint (https://trymirai.com/local-models/alibaba-qwen3-5-9b-mirai-mirai-l-8)
(lossless)
Все модели которые мы поддерживаем лежат
тут (https://trymirai.com/local-models)
, будем рады если попробуете что-то еще.
Бенчи тут (https://trymirai.com/metrics)
. Можно изучить как и что измерено и насколько лучше.
Подробнее про релиз
блог пост (https://trymirai.com/blog/speculative-decoding-in-uzu)