“Read, but didn’t fully get it” column. Let’s go.
1/ DeepMind released this paper into the wild (https://arxiv.org/pdf/2502.04403) — maybe not the flashiest at first glance, but IMO important. They raise the question “what system can you even call agentic,” and therefore “apply reinforcement learning.”
2/ Same DeepMind dropped the tome “How to scale your model” (https://jax-ml.github.io/scaling-book/) about how deep learning works at the hardware + data transfer level, how compute scaling for this whole thing actually happens, and compute efficiency. Just a must read for anyone who wants to really understand why the hell we need datacenters here and what DeepSeek’s trick is.
3/ For hardcore readers (http://distill.pub/2017/momentum) — though damn, everything above is already hardcore — there’s a great article on how gradient descent works and why momentum as a concept works in this story. In short: bookmark it. Because this is a turning point in deep learning overall.
4/ A bit (https://www.high-capacity.com/p/chinas-overlapping-tech-industrial) about China’s ecosystem of tech companies.
5/ For everyone who completely missed it and doesn’t get what an LLM even is — 200 pages (https://arxiv.org/pdf/2501.09223) from scratch to the end (mostly theory).
6/ Andrej Karpathy: 3 hours of LLMs (https://youtu.be/7xTGNNLPyMI?si=HqGFz0cYdIT6igQp) for engineers from zero — recommend (mostly practice).
7/ A rare video (https://youtu.be/b7y971yL5dE?si=oOusztsVPb0uB8MB) of the founder of musically (aka TikTok in the future) about growth, users, etc. A treasure trove!
Original (RU)
Рубрика «прочитано, но не до конца понято». Поехали.
1/ тут DeepMind запустили в свет
работу, (https://arxiv.org/pdf/2502.04403)
возможно на первый взгляд не самую примечательную, но как мне кажется важную. Они поднимают вопрос «а какую систему вообще можно назвать агентской», а значит «применить reenforcement learning».
2/ Тот же DeepMind выложил труд
«How to scale your model» (https://jax-ml.github.io/scaling-book/)
о том как работает deep learning на уровне железа и передачи данных, каким образом происходит масштабирование мощностей на это все дело и эффективности вычислений. Просто must read для тех, кто хочет глубоко понимать а нафига тут датацентры и в чем фишка у DeepSeek.
3/
для хардкорных читателей, (http://distill.pub/2017/momentum)
хотя блин и так один хардкор что-то выше, есть прекрасная статья о том как работает градиентный спуск и почему импульс в этой истории как концепт работает. Короче так на заметку. Потому что это поворотный момент в deep learning в целом.
4/
немного (https://www.high-capacity.com/p/chinas-overlapping-tech-industrial)
про китайскую экосистему технологических компаний
5/ для всех кто целиком пропустил и не понимает что за LLM -
200 страниц (https://arxiv.org/pdf/2501.09223)
с нуля до конца (теория в основном)
6/
Андрей Карпаты 3 часа LLM (https://youtu.be/7xTGNNLPyMI?si=HqGFz0cYdIT6igQp)
для инженеров с нуля - рекомендую (практика в основном)
7/
редкое видео (https://youtu.be/b7y971yL5dE?si=oOusztsVPb0uB8MB)
основателя musically (он же тикток в будущем) о росте, пользователях и так далее. Кладезь!