Remember how you asked about decentralized inference and all that. So, food for thought:
- this is what a normal
stack
looks like, what do you think, is it реально to make players install this, so to speak?
- what’s the fundamental difference from regular cloud infra with OSS models? (OpenRouter?)
- oh right, inference on its own is supposed to come bundled with tons of other features
- if the models are small enough that some regular dude can host them, that means you can run them locally, meaning for free
- and yeah, who the hell provides the SLA, support, or anything important for a business? Right — nobody.
And let’s never use anything that has the words “utility token” in it, life’s taught us something, hasn’t it.
But I guess for some people it might be fun to play around with.
Links from the original post:
Original (RU)
Помните спрашивали про децентрализованный инференс и все такое. Так сказать пища для размышления:
- вот так выглядит нормальный
стек
, как думаете реально заставить игроков поставить так сказать?
- в чем принципиальное отличие от обычной клауд инфры с OSs моделями? (OpenRouter?)
- ах да инференс сам по себе должен идти вместе с другими тоннами фичей
- если модели мелкие что их может хостить обычный чувак, то это значит их можно запускать локально, а значит бесплатно
- ну и да, кто блин обеспечивает SLA, поддержку, да что угодно важное для бизнеса? Правильно - никто.
И давайте никогда не пользоваться тем, где есть слово «утилити токен», нас же жизнь чему-то научила.
Но наверное поиграться кому-то может интересно.