For anyone who was curious — well anyway they’ve started training a new OpenAI model — probably GPT5Q or something around that. It became known from the news about forming a safety committee, (https://openai.com/index/openai-board-forms-safety-and-security-committee/) — well yeah, they’re rightly afraid they’ll train some nonsense again on all sorts of sensitive topics.
Also it finally reached me why Igor Babushkin at xAI is so badass and apparently it’s because he wrote this kind of paper, (https://arxiv.org/pdf/2201.02177) which says there’s this effect called Grokking (so that’s where Elon’s model name comes from, I guess), supposedly it’s this advanced generalization even if you didn’t directly feed that kind of data into the net (Petya is Vanya’s friend. Vanya was born in 1999. Then we can say that Vanya, born in 1999, is Petya’s friend.). The topic is interesting because it kind of looks like you can get some logical chains by feeding, well, a *lot* of this kind of data. You feed both the data and some dependencies between them, and the model, with very long training on such data, starts to somehow connect these dependencies and infer new rules (implication and other stuff).
And then there’s
a new paper (https://arxiv.org/abs/2405.15071)
that develops this theme really well.
The authors study how it sometimes works out to get grokking (a-la magic), and sometimes it doesn’t. In short, the effect basically boils down to the fact that we can get OOD (out of distribution) links if we have lots of examples and links between them and then train on them for a very long time.
Good overview. (https://t.me/seeallochnaya/1473)
Another cool topic is Super-alignment, but about that later.
Original (RU)
Кому было интересно, ну вообщем начали тренировать новую модель OpenAI - наверное GPT5Q или около того. Известно это стало из
новости об образовании safety комитета, (https://openai.com/index/openai-board-forms-safety-and-security-committee/)
ну правильно боятся что натренируют снова ерунды по всяким чувствительным вопросам.
Так же до меня дошло почему Игорь Бабушкин в xAI такой круто и видимо потому что он написал
вот такую работу, (https://arxiv.org/pdf/2201.02177)
которая говорит что мол есть такой эффект Grokking (оттуда и название модели Илона видимо), якобы это такая продвинутая генерализация даже если непосредственно таких данных вы в сетку не кормили (Петя друг Вани. Ваня 1999 года рождения. Тогда можем сказать что Ваня 1999 года рождения друг Пети.). Тема интересная так как смахивает на то, что какие-то логические цепочки можно получить скормив ну очень много подобного рода данных. Вы кормите и данные и некоторые зависимости между ними, а модель при очень долгом обучении на таких данных начинает эти зависимости неким образом соединять выводы новые правила (импликация и прочие штуки).
И вот выходит
новая работа (https://arxiv.org/abs/2405.15071)
которая очень хорошо развивает эту тему.
Авторы изучают как же так иногда выходит получить гроккинг (а-ля магия), а иногда нет. Если кратко, то эффект по сути сводится к тому что мы можем получить связи OOD (out of distribution) имея много примеров и связей между ними и потом на них очень долго обучаем.
Хороший обзор. (https://t.me/seeallochnaya/1473)
Еще крутая тема это Super-alignment но о ней потом.