One of the most, in my view, significant papers just dropped. It pretty convincingly shows that we’re hitting the limits of quantization. The paper says: the more tokens you use for training, the more precision you need. Or do you remember all those bitnets (where all the weights are just three digits 1 0 -1) and other stuff (which seems like a total refutation of this idea).
Important:
- almost always we’ve gotten better performance and all that by reducing dimensionality (even if it’s just the little numbers)
- in other words the slowdown is here and it’s real, looks like we need to learn how to improve what we already have and optimize for narrower use cases
Anyone who’s seriously into AI should absolutely read it
https://arxiv.org/pdf/2411.04330
Original (RU)
Одна из самых как по мне значимых статей вышла. Она убедительно показывает, что мы достигаем пределов квантизации. В работе говорится: чем больше токенов используется для обучения, тем больше точности требуется. Или помните все эти битнеты(где всего веса из трех цифр 1 0 -1) и прочее (кажется это полное опровержение данной идеи).
Важно:
- почти всегда мы достигали лучшей производительности и прочего путем снижения размерности (пусть даже и циферок)
- другими словами замедление пришло и оно реально, похоже надо учиться улучшать то что есть уже и оптимизировать под более узкие кейсы
Всем интересующимся AI на серьезно обязательно читать
https://arxiv.org/pdf/2411.04330