“read it, but didn’t fully get it” column: - how quality dies in nets from…

· Original on Telegram


“read it, but didn’t fully get it” column:
- how quality dies in nets from context length and various tricks layered on top,
old work,
but now everyone’s gone and is mercilessly RL-bombing this bench (longmemeval). So I recommend taking a look, so you don’t always fall for a 1m context window
-
cool paper
from a real mathematician about AI’s “successes” in science, so to speak
-
a burner phone
as a concept of an anonymous chat with AI
- found out what the
Sharpe ratio
is
- still don’t understand why anyone even talks about
this
- Karpathy’s autoresearch seems to have flown into every corner, tried running it on our kernels, got +2% speed (not like it’s interesting)
-
recommend
about China and the US

Links from the original post:

Original (RU)

Рубрика «прочитано, но не до конца понято»:
- как умирает качество в сетках от длины контекста и разных трюков поверх,
работа старая,
но тут ныне все взялись этот бенч (longmemeval) нещадно RL закидывать. Поэтому советую ознакомиться, чтобы не всегда вестись на 1м контекстного окна
-
классная статья
от настоящего математика про успехи ии в науке так сказать
-
одноразовый телефон
как концепт анонимного чата с ии
- узнал что такое
коэф шарпа
- все еще не понимаю почему вообще про
это
говорят
- авторисерч карпатого кажется залетел в каждый угол, попробовал погонять на кернелах наших получил +2% скорости (не то чтобы интересно)
-
рекомендую
про Китай и США