Overall it doesn’t surprise me and doesn’t leave me with any questions why Meta’s model performs so well on dialogues and chats, and worse on other tasks like exams and whatnot.
And all the authors and researchers keep reasoning like, well, they fed it a dataset neatly and blah blah. Well no shit: a huge social network has dialogue data with data about when it’s good and successful and labels and any damn context you could want. And then good luck proving to the model that they trained on some private labeled data. I’m waiting for Google to also start shoving everything it scraped into a dataset. It’s all a matter of time and managers’ KPIs. Here too they should’ve pushed the spot higher on the Chat Arena.
Original (RU)
Меня в целом не удивляет и не оставляет вопросов почему модель от meta так хорошо перформит на диалогах и беседах, и хуже на других задачах типа экзаменов и прочего.
И все авторы и рисчерчеры так рассуждают мол, вот скормили туда датасет аккуратно и все такое. Ну ясен пень у огромной социальной сети есть данные диалогов с данными когда он хороший и успешен и разметка и любой блин контекст. А потом еще фиг докажешь у модели что они тренились на каких-то приватных размеченных данных. Жду когда Google тоже начнет все, что спарсил в датасет помещать. Это все вопрос времени и KPI менеджеров. Тут вот тоже надо было на чатарене место повыше сделать.