For those still interested in the cost of training a model, Anthropic’s CEO dropped an essay with some politics mixed in (and (https://darioamodei.com/on-deepseek-and-export-controls) here AI already looks like an arms race).
One interesting point he emphasized: models that “reason” are always based on a base model and its quality. Meaning all this “reasoning” is basically a consequence of whatever you managed to get earlier as the base (the base is just trained to spit out an answer to a question, like a very smart autocomplete/sentence-finisher, as I like to put it). He also said their cutting-edge model was made for roughly a few dozen million (I’m thinking 25–30).
Anyway, I recommend reading it if you want to understand the AI market. Because this tech will be everywhere, in any business, sooner or later.
Original (RU)
Для все еще интересующихся ценой обучения модели, CEO Anthropic выдал
эссе с элементами политики (и (https://darioamodei.com/on-deepseek-and-export-controls)
тут AI напоминает гонку вооружений уже).
Из интересных моментов, которые он подчеркнул что модели которые рассуждают всегда основаны на базовой модели и ее качестве. То есть все эти рассуждения как бы следствие того, что у тебя получилось до этого в виде базы (база просто тренируется выдавать ответ на вопрос, такой очень умный автокомплит/заканчиватель предложения как я люблю говорить). Так же он сказал что их модель передовая была сделана примерно за несколько десятков миллионов (думаю 25-30).
Вообщем рекомендую к прочтению для понимания рынка AI. Так как эта технология будет везде, в любом бизнесе рано или поздно.