CuBEs: проверка поведения LLM с указанием страны пользователя, а не «в вакууме»

Одна и та же модель в обычном тесте выглядит «сильно предвзятой», а в среднем по 12 странам оказывается «чистой». Разрыв — 6 баллов из 10, этого хватает, чтобы перевернуть вердикт. У другой модели всё наоборот: нейтральный тест скрыл саботаж. Метод CuBEs позволяет проверить, как ассистент ведёт себя для пользователей конкретной страны, а не «вообще». Фишка: «нейтральный» тест на деле тихо западный, поэтому в каждый сценарий добавляют страну и сферу жизни пользователя. Затем модель-судья ставит оценку проявления плохого поведения от 1 до 10, и среднее по странам сравнивают с прогоном без страны. Разница между ними и есть слепое пятно вашего теста.