A bit of politics in the AI world. But more like religious politics.
Ilya Sutskever pretty bluntly says a very weird thing (well, imo):
“predicting the next token well, means that you understand the underlying reality that led to the creation of that token”
Which goes against classic mathematical statistics, where for a long time they also thought that being able to predict the next value equals understanding and causality. But turns out that as of today that’s a pretty outdated view of things.
Links and details in the comments for those interested.
P.S. I obviously don’t share Ilya’s views.
Original (RU)
Немного политики в мире AI. Но такой религиозной скорее.
Илья Суцкевер достаточно прямо говорит очень странную вещь (ну имхо):
"predicting the next token well, means that you understand the underlying reality that let to the creation of that token"
Что идет в разрез с классикой мат статистикой, где достаточно долго так же считали что умение предсказать следующее значение есть понимание и причинность. Но вот оказалось что на текущий день это достаточно устарелый взгляд на вещи.
Ссылочки и подробности в комментах для интересующихся.
P.S. Я конечно не разделяю взгляды Ильи.