I’ll toss something into the stash about frontier labs. Online people love to yap about Open Weight Models. Like they’re about to catch up any minute now and are always breathing down their necks. What I think after talking to different folks, and what problems I see:
- the talent problem: how do you hire a team to build a small or open model if a solid research talent at Anthropic is pulling $10M a year (real numbers), and you still need compute and all that stuff
- say you’re ready to invest in training people for a year or two, but then you’ll be catching up forever — how do you solve that? well you need to raise a hundred mil or two right away and chill, otherwise I don’t really get what the competitive advantage in the offer is
- but say you do lure people with upside, then there’s this opinion going around that “frontier models are 90% of the market in money”, where do you get data for training and RL from, i.e. literally everyone only buys “the best” (they’re ready to pay a market premium for “a model that’s a bit better” — pay 20% more or even 2x)
- a условный Opus is 10x more expensive than Chinese models and everyone buys it
- in this situation competition gets even harder because they start covering up the distillation process with the fact that there are closed models for industries and even special deploy teams that integrate those models in closed mode (see Mythos, and OpenAI’s math models). Or in other words: distilling a model into Claude Code will be easy, but the one that runs in a bank — no way.
All this looks like a typical oligopoly and I think there won’t be room for OSS over time except for certain verticals or solutions. I think the Chinese make everything open just to have at least some data and attract people. I don’t see any other real reasons.
Oh and decentralized inference is bullshit.
Original (RU)
Наброшу в копилку про фронтир лабы. Часто в интернетах любят рассуждать про Open Weight Models. Мол скоро вот вот они догонят и всегда поджимают. Что думается мне после общения с разными людьми и какие проблемы я вижу:
• проблема таланта, как нанять команду делать небольшую или открытую модель, если норм рисерч талант в антропике получает 10м в год (реальные цифры), и это тебе еще надо compute и все такое
• допустим ты готов инвестировать в обучение людей годик другой, но тогда догонять будешь очень долго - как решить? ну надо поднимать сотку другую сразу и чилить, иначе я не очень понимаю в чем конкуретное преимущество в оффере
• но допустим ты привлекаешь апсайдом, тогда ходит такое мнение что "мол фронтир модели это 90% рынка в деньгах", откуда брать данные на обучение и RL, то есть буквально все покупают только "самое лучшее" (готовы давать рычноную премию к "модель чуть получше" - 20% больше платить или даже в 2 раза)
• условный Opus в 10 раз дороже китайских моделей и все его покупают
• в такой ситуации конкуренция усложняется еще тем, что процесс дистилляции начинают прикрывать тем самым что есть закрытые модели для индустрий и даже специальные деплой команды, которые эти модели в закрытом режиме интегрируют (см мифос, и математические модели openai). Или другими словами задистилить модель в claude code будет легко, но вот ту которая работает в банке - никак.
Все это напоминает типичную олигополию и места для OSS думаю со временем не будет за исключением определенных вертикалей или решений. Думаю что китайцы делают все открытым чтобы хотя немного данных иметь и привлекать людей. Других причин настоящих не вижу.
Ах да децентрализованный инфернес чушь.