A pretty interesting paper (https://arxiv.org/pdf/2404.13208) came out of the depths of OpenAI. They talk about LLMs being vulnerable to attacks like prompt injection and jailbreaks, which let attackers rewrite the model’s original instructions. The authors claim that one of the key vulnerabilities underlying these attacks is that LLMs often treat system prompts as having the same priority as user requests. To deal with this, they propose an instruction hierarchy that explicitly defines how models should behave when instructions of different priority conflict. Then they propose a method for automated data generation to demonstrate this hierarchical instruction-following behavior, which trains LLMs to ignore lower-priority instructions. After testing, they say it gets better and there are fewer vulnerabilities.
Original (RU)
Достаточно интересная
работа (https://arxiv.org/pdf/2404.13208)
вышла из недр OpenAI.
Обсуждают уязвимость LLMs к атакам, таким как внедрение подсказок и взломы, которые позволяют злоумышленникам переписывать оригинальные инструкции модели. Авторы утверждают, что одна из основных уязвимостей, лежащих в основе этих атак, заключается в том, что LLMs часто относят системные промты к тем же приоритетам, что и запрос от пользователей. Для решения этой предлагают иерархию инструкций, которая явно определяет, как модели должны вести себя, когда инструкции разного приоритета конфликтуют. Затем предлагается метод автоматизированной генерации данных для демонстрации этого иерархического поведения в следовании инструкциям, который обучает LLMs игнорировать инструкции с более низким приоритетом. После тестирования говорят становится лучше и меньше уязвимостей.