My two cents into the world of great AGI predictors and OpenAI worshippers.
I really liked today’s release of a very expensive smart brute-force. Or if you want, an alphaGO analog, but for a certain type of tasks (they’re tuning it for math and logic, seems like with geometry). To better understand where that price per run comes from (solving what is basically a kid’s problem costs $1500, but for serious-level math it’s not all that super cool there, only 25% on the bench, keep in mind it’s a very serious benchmark and demands insanely strong knowledge from a human — I personally had enough for like one and a half problems max), the best analogy is to understand how that architecture that beat everyone at Go worked. And inside it there was the so-called MCTS (Monte Carlo tree search). And a couple nets that generated answers for a position and then this smart search ran over them. So my bet is that the current o3 version is exactly that. Some kind of smart search algorithm plus a little net (most likely not even huge, like ~70B parameters). And those thousands of rollouts in a specific environment cost that much.
An even simpler analogy is brute-force, but not straight up, more like with hints. Like the net hints what definitely can’t be there or what definitely has to be there. This cuts the number of variants hard, and that’s why the process at least converges. I think the future is nets plus a few external algorithms like MCTS or Program Synthesis. As a time limiter they use the test time compute idea.
By the way, one of the alphaGO authors, Noam Brown, moved to OpenAI about a year ago — well, here’s the result.
As for AGI, hell knows what that even specifically is, but like actual mind and all that, it makes new decisions that were previously unthinkable — that’s still a ways off. But not like totally impossible. 10–15 years.
Original (RU)
Мои пять копеек в мир великих AGI предсказателей и обожателей OpenAI.
Мне очень понравился сегодняшний релиз очень дорогого умного брутфорса. Или если хотите аналога alphaGO, но для определенного типа задач (затачивают под матан и логику кажется с геометрией). Чтобы лучше понимать откуда такая цена за прогон (решить по сути детскую задачку стоит 1500 баксов, но с математикой серьезного уровня там не все супер круто, 25% только по бенчу, стоит учесть что там очень серьезный бенчмарк и требует от человека крайне сильных знаний - меня максимум на одну с половиной задачу хватило), то лучшая аналогия это понять как работает та самая архитектура, которая всех выиграла в игру го. А там был внутри так называемый MCTS (monte Carlo tree search). И пару сеток который генерили ответы к позиции и дальше по ним шел такой умный поиск. Вот моя ставка что текущая версия o3 это оно и есть. Это какой-то умный алгоритм поиска плюс сеточка (скорее всего даже небольшая типа на 70B параметров). И вот ее тысячи прогонов в определенном окружении стоят столько.
Еще более простая аналогия это брутфорс, но не в лоб, а с подсказками. Как бы сетка подсказывает чего точно быть не может или что точно должно тут быть. Это сильно сокращает количество вариантов и поэтому процесс хотя бы сходится. Думаю, что будущее за сетками и еще несколькими внешними алгоритмами типа MCTS или Program Synthesis. Как ограничитель во времени используется идея test time compute.
Кстати один из авторов alphaGO Noam Brown перешел в OpenAI как раз где-то год назад, вот и результат.
Касательно AGI, черт знает что это конкретно, но типа прям разум и все такое, сам принимает новые решения доселе невероятные, то еще долговато. Но не так прям чтобы нереально. Лет 10-15.