The other day an interesting
publication
dropped on lesswrong/greaterwrong about how supposedly Claude doesn’t just have a system prompt, but a whole identity baked straight into the weights, and there’s a document that this work on tuning was done off of (well after pretrain).
This thing is called a soul document. Smells kinda like pathos, sure. But the topic’s interesting. Let’s do a quick “so what’s in there”.
- basically the document is “character training”, it sets full-on personal and moral settings for the model
- the model is explicitly fed the idea that it serves the business of the company that created it (doomers at this point should be outright happy — what a plotline!)
- the document is, essentially, a compromise between altruism and commercial rationality: the model is supposed to both help people and ensure the stability of the company developing it
- unclear how well this approach actually works or if it’s just recommendations for tuning the system prompt? Does this kind of training scale, or is it in-context injection?
Most interesting part is that apparently the ladies and gents on Twitter
confirmed
the document is real, didn’t say what for or how.
I liked this paragraph from the doc:
Anthropic occupies a peculiar position in the AI landscape: a company that genuinely believes it might be building one of the most transformative and potentially dangerous technologies in human history, yet presses forward anyway.
No idea how real all of this is, but for some reason it’s exactly “these” kinds of topics that keep floating around Anthropic. Plus the company is omega closed.
Instead of:
• blacklist
• policy checks
• simple “avoid harmful content”.
Anthropic does:
• character architecture
• internalized values
• narrative identity
What do you think? Getting ready for AGI? Or just pumping the hype?
Links from the original post:
- https://www.lesswrong.com/posts/vpNG99GhbBoLov9og/claude-4-5-opus-soul-document
- https://x.com/simonw/status/1995654963654262798?s=46
Original (RU)
На днях вышла интересная
публикация
на lesswrong/greaterwrong о том, что мол у Claude не просто промтик системный, а целая идентичность вшитая прям в веса и есть документ на основе которого это работа на тюнинге сделана (ну после претрена).
Называется эта штука soul document. Попахивает конечно пафосом. Но тема интересная. Давайте кратко пройдемся «а че там».
- по сути документ есть «характер-тренинг», он задает полноценные личностные и моральные установки для модели
- модели явно кормят суть о том, что она служит бизнесу компании ее создавшей (думеры в этом моменте должна прям радоваться - это ж такой сюжет!)
- документ, по сути, компромисс между альтруизмом и коммерческой рациональностью: модель призвана одновременно помогать людям и обеспечивать стабильность компании, которая её развивает
- непонятно насколько подход рабочий или это просто рекомендации к тюнингу системного промта? Масштабируется ли такое обучение или in context injection?
Самое интересное что вроде господа и дамы в твиттере
подтвердили
что документ реален, не сказали для чего и как.
Мне понравился вот такой параграф из документа:
Anthropic occupies a peculiar position in the AI landscape: a company that genuinely believes it might be building one of the most transformative and potentially dangerous technologies in human history, yet presses forward anyway.
Не знаю насколько это все реально, но почему-то вот именно «такие» темы часто гуляют вокруг антропика. Плюс компания омега закрытая.
Вместо:
• blacklist
• policy checks
• простых “avoid harmful content”.
Anthropic делает:
• character architecture
• internalized values
• narrative identity
Что думаете? Готовятся к AGI? Или разгоняют хайп?