Btw we shipped our first research result.
Rolled out the first quantized versions of Qwen 3.5 models.
Thanks to joint optimization of quantization + the inference engine, we managed to noticeably beat Unsloth/llama.cpp and MLX on the key “quality vs speed” tradeoff. On Apple devices from iPhone to beefy Macs, the models push 40–60% more tokens per second with no quality loss.
Post
hf collection
Links from the original post:
Original (RU)
Btw релизнули свой первый результат в рисерче.
Выкатили первые квантизованные версии моделей Qwen 3.5.
За счет совместной оптимизации квантизации и движка инференса нам удалось заметно обойти Unsloth/llama.cpp и MLX по ключевому компромиссу «качество vs скорость». На устройствах Apple от iPhone до мощных Mac модели выдают на 40–60% больше токенов в секунду без потери качества.
Пост
hf collection