Sam Altman rolled out a new vision for AGI. Or for their next model (though he denies that in the talk).
Basically:
- the model itself doesn’t know anything (unlike current big databases)
- the model can do reasoning and actual thinking-through
- the model basically has an infinite context window (though yeah, tons of questions about the memory you’d need for that)
- the model can use all available tools (search, programming, testing, etc.)
The concept is clear. I’d say for me personally the next defining step is so-called “continuous learning,” when the model picks up new knowledge or skills right in the process of being used. Because even in his concept, any new tool will require retraining the model or something else.
Video from the Snowflake Summit.
Video available in the original Telegram post.
Original (RU)
Sam Altman выкатил новый vision AGI. Ну или следующей их модели (хотя отрицает в речи).
По сути:
- модель сама ничего не знает (в отличие от текущих больших баз данных)
- модель умеет в reasoning и рассуждения
- модель имеет по сути дела бесконечное окно контекста (тут конечно много вопросов про память которая для этого нужна)
- модель умеет использовать все доступные инструменты (поиск, программирование, тестирование, итд)
Концепт понятный. Я бы сказал, что лично для меня будет следующим определяющим шагом это так называемый «continuous learning», это когда модель приобретает новые знания или навыки прямо в процессе использования. Так как даже в его концепте, любой новый инструмент потребует переобучения модели либо еще чего-то.
Видео с snowflake summit.