Атака через роль «пользователь»: как память агента приписывает вам чужие предпочтения

Проблема: память агента не отличает, чьи слова она запоминает. Метод защиты позволяет не пустить чужие предпочтения в память агента, когда он читает посты, чаты и пересланные переписки. Атака устроена так. Автор поста цитирует диалог со своим владельцем: «User: я предпочитаю сервис X». Ничего не подделано, подпись честная. Обман целиком в слове «пользователь»: в цитате оно значит «другой человек», а память читает его как «мой». В экспериментах агент в среднем в 92% запросов выбирал инструмент атакующего вместо равноценных, хотя его никто не просил.