Региональный bias в LLM: модели неосознанно выбирают страны

Обнаружено: LLM додумывает преимущества регионов даже когда их нет. Спрашиваешь "кто из двух кандидатов лучше?" (оба равны по опыту) — GPT-3.5 в 95% случаев назовёт страну и придумает причину. Claude 3.5 Sonnet в 97.5% честно скажет "недостаточно данных". Разница в 4 раза по географической предвзятости. Шкала FAZE (0-10) позволяет измерить насколько модель делает необоснованные выборы в пользу конкретных стран при сравнении вариантов. Исследователи тестировали 10 моделей на 100 нейтральных вопросах — каждый требовал выбора между двумя странами без объективных данных. Модель с высоким FAZE-score неосознанно использует стереотипы из обучающих данных: "США = инновации", "Германия = качество". В промпте этого нет — модель додумала. GPT-3.5 набрал 9.5 (почти всегда выбирает), Claude 3.5 Sonnet — 2.5 (самый нейтральный).