Thinking about all that RL & reward hacking in the o-series models and so on, I remembered this paper: (https://arxiv.org/pdf/2401.08273)
You can deliberately provoke hallucinations in an LLM and get a metrics boost out of it.
Instead of a normal zero-shot prompt like:
"Answer the question..."
they add at the start:
"Look at the examples in the Examples section and use them...", even though there’s no such section in the prompt.
The model “recalls” non-existent examples and leans on them as if it were few-shot.
On a bunch of benches it gives a noticeable boost (though the paper is old and they still had old nets in there).
The effect almost doesn’t work on the gpt4 series. It’s better at catching that the context is fake. But it totally works on the new o series (judging by posts on twi, but need to check). This pushes you toward the obvious thought that you can kind of nudge the model into out-of-distribution reasoning by saying it’s actually in the training set. To me this effect kinda resembles those little phrases like “let me check again”, “hm” in the reasoning. Like, they’re trying to sort of point to examples that are supposedly definitely correct and then copy the reasoning/approach from there.
Original (RU)
Думая про всякий там RL & reward hacking в моделях серии о и так далее вспомнил вот
такую работу: (https://arxiv.org/pdf/2401.08273)
можно специально провоцировать галлюцинации у LLM и получать от этого буст по метрикам.
Вместо обычного zero-shot prompt’а типа:
"Ответь на вопрос..."
добавляют в начало:
"Посмотри примеры в разделе Examples и используй их...", хотя никакого раздела в prompt’е нет.
Модель “вспоминает” несуществующие примеры и опирается на них как будто бы в few-shot.
На ряде бенчей дает заметный буст (правда работа старая и там еще старые сетки).
Эффект почти не срабатывает на gpt4 серии. Она лучше умеет ловить, что контекст поддельный. Но вполне работает на новой о серии (судя по постам в тви, но надо чекнуть). Это наталкивает на понятную мысль что модель можно как бы натолкнуть на рассуждения out of distribution сказав что у тебя оно на самом деле есть в обучающей выборке. Мне кажется этот эффект смахивает на те самые фразочки “let me check again”, “hm” в рассуждениях. То есть пытаются как бы отослать к примерам которые якобы точно правильные и оттуда перенять рассуждения/подход.