Time for the release. Channel readers get it first.
What I’m doing:
We’re doing on-device AI. Started by building our own inference engine from scratch for models on Apple Silicon. And it’s open sourced by 90%. There’s a small chunk tied to the platform — speculative decoding. Which can give a serious, up to 10x, inference speedup.
About the company:
It’s called Mirai — “future” in Japanese. We believe local models are a very important part of the future UX and what the interaction experience between a person and the devices around them will look like. Raised a pre-seed of about $4M USD,
there’s a bit more on the website. (https://trymirai.com/)
Links and how you can help:
1/
the project is open source (https://github.com/trymirai/uzu)
and we’ll be very happy if you star it and show it to people who work with iOS & macOS apps.
There are Swift bindings. (https://github.com/trymirai/uzu-swift)
There’s
our own approach (https://github.com/trymirai/lalamo)
to how models should be represented for devices. MIT license. Fork it however you want!
2/
you can hop onto our site (https://trymirai.com/)
and try everything yourself, it’s a dev project, but if you’re a business and want to build local stuff and save on cloud inference — welcome to DM
3/ upvote on
HackerNews (https://news.ycombinator.com/item?id=44570048)
4/ we’re faster than llama cpp and the popular wrappers around it, we’re more convenient and, thanks to speculative decoding, faster than Apple’s MLX. We’re looking for RnD & core performance engineers to support the audio pipeline (we’ll be working with a very large provider of audio models).
Thanks for reading!
Original (RU)
Настало время релиза. Читателям канала первее всех.
Чем занимаюсь:
Мы делаем on-device AI. Начали с того что сделали полностью свой с нуля инференс движок для моделек на Apple Silicon. И он open sourced на 90%. Есть небольшой кусок привязанный к платформе - speculative decoding. Который может дать значительное до 10х ускорение инференса.
О компании:
называется Mirai с японского будущее. Мы верим, что локальные модели очень важная часть будущего UX и того какой опыт взаимодействия будет человека с устройствами вокруг него. Подняли pre-seed около 4M USD,
на сайте есть чуть подробнее. (https://trymirai.com/)
Ссылочки и как можно помочь:
1/
проект open source (https://github.com/trymirai/uzu)
и мы будем очень рады если вы поставите звездочку и покажете тем, кто работает с приложениями для iOS & macOS.
Есть биндинги под swift. (https://github.com/trymirai/uzu-swift)
Есть
свой подход (https://github.com/trymirai/lalamo)
к тому как модели должны быть представлены для устройств. Лицензия MIT. Форкай как угодно!
2/
можно зайти к нам на сайт (https://trymirai.com/)
и попробовать все своими руками, проект для разработчиков, но если вы бизнес и хотите делать локальные штуки и экономить на облачном инференсе - велкам в личку
3/ апвоутом на
HackerNews (https://news.ycombinator.com/item?id=44570048)
4/ мы быстрее чем llama cpp и популярные обертки вокруг, мы удобнее и благодаря speculative decoding быстрее MLX от Apple. Мы ищем rnd & core performance engineers для поддержки аудио пайплайна (будем работать с очень крупным провайдером аудио моделей).
Thanks for reading!