A card for the new version of Anthropic’s model just dropped.
What I’d want to underline as a trend and a few basic things:
- new models will get better and better across a larger number of use cases within one domain (they keep pouring in data and RL), they poured in stuff around vuln hunting and found a lot of dangerous things (it’s important to understand that solving tasks like that is a consequence of RL — we teach a specific approach and then the model can do its job better)
- this is horizontal scaling. Meaning models improve less for long-horizon tasks, but do small tasks better (within the context). Pretty much all the benches they post are tasks in a 128–256k token window.
- I’m expecting an ever larger class of well-verifiable tasks to get solved
- given this kind of RL progress, we’ll need a shitload of tokens, and even a 40–60% margin on inference is peanuts, you need 99%+ (ideally many hundreds of X in cost reduction)
- the new model seems to eat fewer tokens judging by some benches, which is good, compression methods will most likely be baked right into post-train
Links from the original post:
Original (RU)
Вышла
карточка новой версии
модели от Anthropic.
Что я бы хотел подчеркнуть как тренд и некоторые базовые вещи:
- новые модели будут все лучше и лучше в большем количество кейсов в одной области (доливают данные и RL), они долили темы с поиском уязвимостей и нашли много чего опасного (важно понимать, что решение таких задач это следствие RL - учим определенный подход и дальше модель лучше может делать свою работу)
- это горизонтальное масштабирование. То есть модели меньше улучшаются для задач с большим горизонтом, но лучше делают небольшие задачи (в рамках контекста). Почти все бенчи что постят это задачи в 128-256к токенов окно.
- я жду что все больший класс хорошо верифицируемых задач будет решатся
- учитывая такой прогресс в RL токенов нужно будет тьма, и даже маржа в 40-60% на инференсе это мало, нужно 99%+ (много сотен иксов от затрат в идеале)
- новая модель жрет меньше токенов судя по некоторым бенчам, что гуд, методы компрессии скорее всего будут прямо в посттрейне