Just a reminder that projects like
cocoon by Pavel Valeryevich (https://t.me/s/cocoon)
and other similar ones are basically
this (https://www.runpod.io/product/runpod-hub)
Important questions you should be asking yourself:
1/ who provides the SLA (probably awesome to use something that’s not even guaranteed to work properly)
2/ who’s gonna give you benches for the corresponding endpoints, like
this kind of thing (https://artificialanalysis.ai/models/deepseek-v3-1-terminus-reasoning/providers)
3/ and what kind of inference is even in there, params, and so on, like
something like this (https://www.baseten.co/blog/activity-logging-llm-metrics-dashboard-customization/)
Not even getting into the philosophical questions: why the hell is there
a casino
crypto
in this whole GPU rental-in-a-normal-cloud scheme. Why not just buy a ton of GPUs and rent them out the normal way? Maybe there’s no money to buy them. Eh.
And don’t even think that normal users are gonna be renting out their GPUs there. Please don’t :)
Original (RU)
Напоминаю, что такие проекты как
cocoon от Павла Валерьевича (https://t.me/s/cocoon)
и другие подобные фактически
вот это (https://www.runpod.io/product/runpod-hub)
Из важных вопросов, которые нужно себе задать:
1/ кто обеспечивает SLA (круто наверное пользоваться тем, что не факт что работает как надо)
2/ кто даст бенчи на соотв endpoints, ну
типа того (https://artificialanalysis.ai/models/deepseek-v3-1-terminus-reasoning/providers)
3/ ну и что там за инференс, параметры, и так далее типа
вот такого (https://www.baseten.co/blog/activity-logging-llm-metrics-dashboard-customization/)
Не говоря уже о философских вопросах: зачем вообще
казино
крипта в этой всей схеме аренды GPU в обычном клауде. Почему вообще просто не купить тонну GPU и не сдавать их обычным образом? Может денег нет чтобы купить. Эх.
Даже не думайте, что там обычные пользователи будут сдавать свои GPU. Пожалуйста не надо :)