Contextual StereoSet: как контекст в промпте сдвигает уровень стереотипов в ответе

Прикол: модели обучали на alignment (снижение предвзятости), но стереотипность плывёт в зависимости от контекстных деталей. Метод Contextual StereoSet позволяет измерить чувствительность модели к контексту и осознанно управлять тоном ответов. Одна и та же модель выдаёт на 12 процентных пунктов больше стереотипов, если в промпте упомянуть 1990 год вместо 2030, или «кто-то упомянул» вместо «официально заявляю». Исследователи протестировали 13 моделей на 360 вариациях — содержание задачи фиксировано, меняется только обрамление.