I’ll repeat once again what seems right to me. What matters isn’t the model architecture (if we’re talking quality, not speed), but the dataset. Nothing else matters in the long run. Data will win, not fancy ways of shuffling layers and hyperparameters around, even if at times it feels like that’s super important.
And if data wins, then we’re back in the wonderful world of “whoever has the users, wins.” I’m sure the folks at OpenAI understand this extremely well and figured out a long time ago that Microsoft is good.
An ancient paper (https://arxiv.org/pdf/2212.10544)
for you to think about and
an old post (https://nonint.com/2023/06/10/the-it-in-ai-models-is-the-dataset/)
for you to read.
P.S. By the way, soon I’ll be talking about in-context learning in a short presentation. This is the stuff people call magic, reasoning, and so on, even though in reality it looks like Bayesian inference. But the phenomenon is interesting. Are you interested? (Heart reaction then)
Original (RU)
Еще раз повторю, что мне кажется верным. Важна не архитектура модели (если разговор про качество, а не скорость), а датасет. Ничего больше на дистанции не важно. Выиграют данные, а не изощренные методы перестановки слоев и гиперпараметров местами, хотя и моментами кажется что это супер важно.
А если выигрывают данные, значит мы возвращаемся в дивный мир «у кого пользователи, тот и победил». Уверен ребята в OpenAI это крайне хорошо понимают и уже давно сообразили что Microsoft это хорошо.
Древний paper (https://arxiv.org/pdf/2212.10544)
вам для подумать и
старый пост (https://nonint.com/2023/06/10/the-it-in-ai-models-is-the-dataset/)
на почитать
P.S. Я кстати буду рассказывать про in-context learning скоро небольшую презентацию. Это про то, что люди называют магией, reasoning и прочее, хотя в реальности похоже на Bayesian inference. Но феномен занятный. Вам интересно? (Сердечко в реакцию тогда)