News on context length. Well, I expect that soon you’ll be able to toss books, videos, movies into the net, better just by link so you don’t have to bother. Then they’ll bring all that to the device too (at that moment dump your NVIDIA shares).
Don’t confuse it with the model getting smarter or learning to understand the world and all that. It’s just that now the same technique the transformer is built on will work, like, on a very long input prompt. Looks like that’s how the latest Google release is done.
Read the paper (https://arxiv.org/pdf/2404.07143.pdf)
Original (RU)
К новостям о длине контекста. Ну я ожидаю что скоро в сетку можно будет закидывать книги, ролики, фильмы, лучше прямо ссылкой, чтобы не париться. Потом это все завезут и на устройство (в этот момент сбрасывайте акции NVIDIA).
Не путайте с тем, что модель стала умнее или научилась понимать мир и все такое. Просто теперь та же техника на которой построен трансформер будет работать ну на очень длинной входной командой. Похоже так сделан последний релиз от Google.
Почитать paper (https://arxiv.org/pdf/2404.07143.pdf)