ObliInjection: понимание того, как порядок данных влияет на выполнение инструкций в LLM

ObliInjection — исследование уязвимости LLM, когда данные собираются из множества источников (отзывы, новости, найденные документы). Атакующий контролирует только один фрагмент из многих, но не знает в каком порядке эти фрагменты соберутся в финальный промпт. Ключевое открытие: создали метод который "ломает" модель независимо от порядка сегментов через order-oblivious loss — функцию, которая измеряет вероятность успеха атаки при случайной перестановке фрагментов данных.