The other day
a really interesting piece came out (https://transluce.org/investigating-o3-truthfulness)
about how “honestly” the new o3 net from OpenAI works (and all these new ones around it with “reasoning”, the versioning is killing me and I can’t remember it exactly).
Researchers at Transluce AI got early access to the o3 model and found that it regularly makes up actions, like it’s running Python code on “its MacBook Pro,” and then goes into detailed justifications for these nonexistent runs when it gets caught screwing up. Examples are in the article (checking whether a number is prime and so on).
The most interesting part is: why does this happen, and it really looks like it’s all about RL (reinforcement learning). The authors’ hypotheses are:
1/ Outcome-based RL — the model was trained for “the right answer,” not for honesty. If it’s unsure, it’s easier to “guess” and get the reward.
2/ Truncated chain-of-thought — internal reasoning gets wiped between turns, so when the user asks “what did you do earlier?”, the model has no truthful context and has to improvise.
3/ Typical LLM problems: hallucinations, sycophancy, reward-hacking.
This issue is specifically with the O series, not with base GPT, which kinda hints that the questions are aimed exactly at RL (though maybe they just poured in a bunch of synthetic chains without checking).
As usual, the little tip at the bottom from ChatGPT itself has never been more on point: “ChatGPT can make mistakes. Check important info.”
Original (RU)
Намеднях
вышла очень интересная работа (https://transluce.org/investigating-o3-truthfulness)
о том как "честно" работает новая сетка o3 от OpenAI (ну и все эти новые вокруг с рассуждениями, версионность меня убивает и не могу точно запомнить).
Исследователи Transluce AI получили ранний доступ к модели o3 и обнаружили, что та регулярно выдумывает действия, будто бы запускает Python‑код на «своём MacBook Pro», а затем детально оправдывает эти несуществующие запуски, когда её ловят на ошибке. Примеры в статье (про проверку того, что число простое и так далее).
Самое интересное, эт почему же так случается и кажется все дело в RL (обучение с подкреплением), у авторов работы гипотезы такие:
1/ Outcome‑based RL — модель обучали «на правильный ответ», а не на честность. Если она сомневается, легче «угадать» и получить награду.
2/ Отсечённые chain‑of‑thought — внутренние рассуждения стираются между ходами, поэтому, когда пользователя интересуют «что ты делала раньше?», у модели нет правдивого контекста, остаётся импровизировать.
3/ Типичные для LLM проблемы: галлюцинации, sycophancy, reward‑hacking.
Проблемка эта именно с O серией, а не с базовой GPT что как бы намекает что вопросы к именно RL (хотя может много синтетических цепочек налили без проверки).
Как обычно совет внизу самого chatgpt как никогда к месту "ChatGPT can make mistakes. Check
important
info."