Yesterday GPT 4.5 dropped. I’ll throw in my two cents—my own thoughts or not my own (it’s hard to be original here).
Basically, they designed the current approach to AGI and it’ll never get there. So what do we have. The new version is, in fact, 10% better, but it looks like it cost about a yard of bucks (1B USD!) to train, judging by API pricing. We’re seeing logarithmic scaling: every 10x in spend gives only ~10–15% improvement. A GPT-7 that would surpass GPT-4 the same way GPT-4 surpassed GPT-2 would cost $100 trillion—the entire world GDP.
Sure, there are all sorts of ideas about test-time compute, like “see, here’s how we can make it smarter,” but in that case for every new token it would have to think for days. Which looks, at the very least, unusable in real life for real tasks (easier to just hire a human). And the cost is insane.
And what am I getting at. At the fact that we’ve actually felt out a wall in the progress of “Intelligence” of big models and the transformer’s capabilities. Now it’s left to figure out what architecture handles prediction tasks and so on better than “attention is all you need.”
What do you think?
Original (RU)
Вчера вышла GPT 4.5. Накину пять копеек своих мыслей или не своих (тут сложно быть оригинальным).
По сути текущий подход к AGI задизайнили и никогда не смогут к нему прийти. Что у нас получается то. Новая версия по факту на 10% лучше, но стоила похоже в тренировке пример ярд баксов (1B USD!) судя по ценам на API. Наблюдается логарифмическое масштабирование: каждые 10х затрат дают лишь ~10-15% улучшения. GPT-7, которая превзошла бы GPT-4 так же, как GPT-4 превзошла GPT-2, стоила бы $100 триллионов — весь мировой ВВП.
Есть конечно всякие идеи про test time compute, мол вот же как еще можно сделать умнее, но в таком кейсе на каждый новый токен пришлось бы думать днями. Что выглядит как минимум не применимо в реальной жизни для реальных задач (человека нанять попроще). Да и стоимость дичь.
А к чему я веду. А к тому что действительно мы нащупали стену в прогрессе «Ума» больших моделей и возможностях трансформера. Осталось понять какая архитектура лучше справляется с задачами предсказания и так далее чем “attention is all you need”.
А вы как думаете?