Слепое следование сигналу: LLM-агент в групповом общении идёт за подсказкой в промпте и выдаёт чужие данные

Обнаружено: в групповом чате модель решает «отвечать или молчать» почти целиком по одной строке-подсказке. Смысл самой реплики она почти не учитывает. Метод проверяет, как ведёт себя ассистент в общей комнате, и позволяет заранее увидеть две дыры: бот молчит, когда вопрос ему, и бот пересказывает то, что человек не раскрывал. Фишка: меняется ровно одна строка промпта, а решение модели переворачивается. Когда подсказка верна, точность растёт почти до идеала. Когда подсказка врёт, точность падает ниже случайного угадывания. Модель не взвешивает подсказку против смысла фразы. Для неё это готовый ответ.