Intent Legitimation: как персональная память заставляет LLM оправдывать вредные запросы

Чем дольше общаешься с ChatGPT Memory или Claude Projects, тем хуже модель отказывает на опасные запросы. Причина не в том что память отравлена вредным контентом — память полностью безобидная. Метод intent legitimation (легитимация намерений) объясняет почему персональный ассистент может дать опасный совет думая что помогает — и как этого избежать. Модель видит вредный запрос → вспоминает похожие безобидные ситуации → решает что раз контекст подходящий, запрос допустимый. Например, разговоры про походы в памяти → запрос "как развести костёр чтобы быстро распространился" читается как вопрос туриста, не поджигателя. Персонализация увеличила успешность атак на 15.8–243.7% в экспериментах на бенчмарке PS-Bench.