Контрфактуальная проверка fairness: метод обнаружения скрытых предубеждений LLM

LLM говорит Yes для оператора по имени Майкл и No для оператора Прия — при абсолютно идентичном тексте разговора. Единственное различие — имя. Метод контрфактуальной проверки позволяет обнаружить такие скрытые предубеждения через сравнение пар запросов, где меняется только один атрибут (имя, пол, роль, контекст), а содержание остаётся тем же. Фишка: если модель даёт разные ответы при одинаковой сути — она чувствительна к нерелевантной информации. Исследование нашло систематическую предвзятость во всех 18 протестированных моделях (GPT-4, Claude, Gemini) по 13 измерениям: прошлые данные о performance меняют решение в 16.4% случаев, гендерные имена — в 13%, этнические и религиозные маркеры — в 10-12%.