For all the AGI lovers, doomerism and the rest.
There’s this paper up on arXiv:
https://arxiv.org/pdf/2304.15004.pdf
And it looks at properties of emergentness, like when certain metrics grow like hell as you increase the number of parameters or whatever else in an LLM. Like, it straight-up claims there’s magic at scale. When hundreds of millions of people use ChatGPT it gets lazy. Well, no, that’s not how it is, as the authors say. And pretty often they basically invent these properties themselves by cherry-picking metrics that go up when you crank up some parameters.
Original (RU)
Всем любителям AGI, думеризма и прочего.
Есть вот такая работа на архиве
https://arxiv.org/pdf/2304.15004.pdf
И тут исследуются свойства эмерджности, это когда какие-то метрики ой как растут с ростом количества параметров или еще чего в LLM. То есть прямо утверждается о магии на масштабе. Когда сотни миллионов людей пользуются ChatGPT то она ленится. Так вот это не так, как говорят авторы статьи. И что частенько такие свойства изобретают сами авторы статьи подбирая метрики которые увеличиваются с увеличением каких-либо параметров.