I’m subscribed to Dwarkesh’s newsletter, who’s probably the top1 AI podcaster right now. So, he’s hiring a researcher for his team so that, like, he can not only ask questions on the podcast but also answer them (idk, sounds more like flexing, but still). He put up $20k in prize money for a hiring contest and posted questions like these (translated with ChatGPT with my edits for better digestion of the material)
1/ A couple years ago there was this idea that AI progress could slow down as the field leans more and more on RL (reinforcement learning). First, because as the task horizon gets longer, the AI has to do work for many days before we can even tell whether it did it right, and if we’re still living in naive policy gradient land, then reward signal per FLOP goes down. And they already scaled from GPT-4 to o3, it’d be hard to keep going at the same pace. And yet AI progress is still fast and maybe even accelerating, if you believe the rumors about Spud or Mythos. What’s going on? What did the earlier intuition miss that led to longer timelines? (You can dispute the premise of the question itself.)
2/ What’s the most plausible scenario where companies building foundation models actually start making money? If you treat each individual model as a company, its profit could pay back the training cost. But if you don’t immediately train a bigger and more expensive model, revenue stops coming after 3 months. So when does profit even begin?
Maybe at some point scaling hits a plateau, but if frontier progress slows, then the combo of distillation and low switching costs (and cloud margins are to a large extent held up precisely by high switching costs) makes it really easy for open source to catch up to labs, eating their margin.
So how do labs end up making money?
3/ After OpenAI’s new funding round at an $852B valuation, the OpenAI Foundation’s stake is now worth $180B. Anthropic’s cofounders promised to donate 80% of their wealth.
But people don’t have a clear understanding of how to productively use hundreds of billions (and soon trillions) of dollars to “make it so things go well with AI.”
If you were running the OpenAI Foundation right now, what specifically would you do? And when?
It’s not enough to just name an important cause, you have to explain how exactly to convert money into real impact. Describe a concrete strategy.
4/ What should countries do that currently aren’t in the AI production chain (semiconductors, energy, frontier models, robotics) so they don’t end up completely bypassed by the dudes pushing AI forward?
You can drop answers here (remote role is approved btw, not just SF)
Interested in hearing my answers? But writing 1k words like he asks, I probably won’t, kek
🙂
Links from the original post:
- https://www.dwarkesh.com/
- https://airtable.com/app8aYOTzMkv9qeAJ/pagHhju8B5tgu4yXc/form?utm_source=substack&utm_medium=email
Original (RU)
Я подписан на
рассылку Дваркеша
, который сейчас топ1 подкастер по аи наверное. Так вот он нанимает себе рисерчера в команду, чтобы мол не только задавать вопросы на подкасте, но и отвечать (хз, похоже на понты больше, но тем не менее). 20к баксов призовые конкурса организовал для найма и вывесил вот такие вопросы (перевел чатом гпт с моими правками для лучшего усвоения материала)
1/ Пару лет назад существовала идея, что прогресс в AI может замедлиться по мере все большего упора на RL (обучения с подкреплением). Во-первых, потому что с увеличением длины горизонта задач AI должен выполнять работу на протяжении многих дней, прежде чем мы вообще сможем понять, правильно ли он это сделал, а если мы всё ещё в мире наивного policy gradient, то сигнал вознаграждения на FLOP падает. И уже поскейлили от gpt4 до о3, было бы сложно продолжать в том же темпе. Тем не менее, прогресс AI остаётся быстрым и возможно, даже ускоряется, если верить слухам про Spud или Mythos. В чём дело? Что упустила предыдущая интуиция, которая вела к более длинным таймлайнам? (Можете оспорить саму предпосылку вопроса.)
2/ Какой самый правдоподобный сценарий, при котором компании, создающие foundation models, начнут реально зарабатывать деньги? Если рассматривать каждую отдельную модель как компанию, её прибыль может окупить стоимость обучения. Но если не тренировать сразу более крупную и дорогую модель, доход перестаёт идти уже через 3 месяца. Так когда вообще начинается прибыль?
Возможно, в какой-то момент масштабирование выйдет на плато, но если прогресс на фронтире замедляется, то комбинация дистилляции и низких switching costs (а облачные маржи во многом держатся именно на высоких switching costs) делает open source решениям очень легко догонять лаборатории, съедая их маржу.
Так как же лаборатории в итоге начинают зарабатывать?
3/ После нового раунда финансирования OpenAI с оценкой в $852 млрд, доля OpenAI Foundation теперь стоит $180 млрд. Сооснователи Anthropic пообещали пожертвовать 80% своего состояния.
Но у людей нет чёткого понимания, как продуктивно использовать сотни миллиардов (а скоро триллионы) долларов, чтобы «сделать так, чтобы с AI всё было хорошо».
Если бы вы сейчас возглавляли OpenAI Foundation, что конкретно вы бы делали? И когда?
Недостаточно просто назвать важную причину, нужно объяснить, как именно конвертировать деньги в реальный импакт. Опишите конкретную стратегию.
4/ Что должны делать страны, которые сейчас не участвуют в цепочке производства AI (полупроводники, энергия, фронтирные модели, робототехника), чтобы не оказаться полностью обойдёнными чуваками которые двигают AI?
Ответы можно закинуть
сюда
(роль ремоут кстати одобряет, не только сф)
Интересно вам услышать мои ответы? Но писать 1к слов как он просит наверное не буду кек
🙂