If you still haven’t watched it, this is probably the best interview about AI and what’s what in the last few years. In my humble opinion, of course. Andrej Karpathy and Dwarkesh. Long story short, worldview-wise I’m probably closest to him. Definitely not to Sam or Dario. Those guys are probably working the investors, and hopefully they just need to push that kind of narrative. But Andrej doesn’t need to.
What, so to speak, hooked me:
- AGI in another ten years; he was betting on 20 years to AGI back when he was at OpenAI in 2015 (almost the biggest pessimist on the team), and also that it won’t change anything fundamentally (well, except education in his opinion)
- all current agents are “non-working shit,” and he does lay out why, and pretty damn well (no continual learning, no proper memory, etc.)
- RL is “horrible shit,” well because people and вообще it seems even animals don’t really use it much (arguments about genetics and how it’s supposedly there already)
- we’re waiting for next-gen algorithms like we’ve seen over the last 30 years; everything will be better, right now it’s still not enough (but he does seem to believe in deep learning)
- he believes AI will change education, which is of course reasonable, since an individual tutor is more effective, and a huge number of different approaches can be combined on the fly
Bottom line, there’s a ton of ideas in there, everything is explained very clearly, and most importantly without hype. Highly recommend.
Original transcript (https://dwarkesh.substack.com/p/andrej-karpathy)
Video on YouTube (https://youtu.be/lXUZvyajciY?si=F8Dt8X4XUj-L_uTi)
Original (RU)
Если вы еще не смотрели, то это наверное лучшее интервью про AI и что там к чему за последние годы. По-моему скромному мнению, конечно же. Андрей Карпаты и Дваркеш. Короче говоря, я наверное по взглядам ближе всего к нему. Точно не к Сэму или Дарио. Те вероятно окучивают инвесторов и им, надеюсь, просто нужно нести такой нарратив. А вот Андрею не нужно.
Что так сказать зацепило:
- AGI за еще десять лет, он делал ставку что до AGI 20 лет когда был в 2015 году в OpenAI (почти самый большой пессимист среди команды), и при том что ничего кардинально оно не поменяет (ну кроме образования по его мнению)
- все текущие агенты «нерабочее гавно», там конечно раскрывается почему и очень даже качественно (нет непрерывного обучения, норм памяти и прочего)
- RL «ужасное гавно», ну потому что люди и вообще кажется даже животные особо его не используют (споры про генетику и что там мол оно на месте)
- ждем алгоритмов нового поколения какие мы видели и последние лет 30, везде будет лучше, сейчас пока недостаточно (но похоже все верит в deep learning)
- верит что AI изменит образование, что конечно разумно, так как индивидуальный учитель эффективнее и еще огромное количество разных подходов можно будет совместить на лету
Короче говоря там такое количество идей и все очень понятно изложено и главное без хайпа. Крайне рекомендую.
Транскрипт в оригинале (https://dwarkesh.substack.com/p/andrej-karpathy)
Видео на YouTube (https://youtu.be/lXUZvyajciY?si=F8Dt8X4XUj-L_uTi)