TL;DR
Когда ты спрашиваешь у чат-бота «сколько это по-хорошему должно занимать/стоить/длиться», модель не даёт нейтральную среднюю оценку. Она сжимает разброс мнений в узкий диапазон — вместо того чтобы, как люди, называть числа от «3 дней» до «3 месяцев», модель почти всегда выдаёт что-то около одного значения. И это значение чаще оказывается выгодным для сильной стороны — компании, государства, работодателя — а не для обычного человека.
Исследователи попросили людей и 26 моделей (GPT, Claude, Gemini, Llama, DeepSeek и другие) оценить «разумное» количество в 25 юридически значимых ситуациях: сколько дней можно держать иммигранта под стражей, сколько часов уведомления должен дать арендодатель перед визитом, сколько дней ждать возврата денег за товар. Модели в целом попадают в диапазон человеческих ответов — это хорошая новость. Но внутри этого диапазона они сдвигаются: их ответы ближе к тому, что назвали бы белые, мужчины, старше 45 лет и с высшим образованием, чем к средней позиции всех участников опроса.
Метод исследования простой: собрали 500 живых людей и 26 моделей, задали одинаковые вопросы про «разумное количество», сравнили распределения ответов статистическими тестами и посмотрели, чьи демографические профили среди людей ближе всего совпадают с ответами моделей.
Схема находки
ВОПРОС О "РАЗУМНОМ" (без чёткого правила, нужна оценка) →
ЛЮДИ: широкий разброс ответов, разные точки зрения
МОДЕЛЬ: узкий диапазон ответов, одна "усреднённая" позиция →
смещена к интересам государства/корпорации
совпадает с ответами старших образованных мужчин
Пример применения
Задача: Ты споришь с интернет-магазином — товар не вернули вовремя, и ты спрашиваешь ChatGPT, сколько по закону разумно ждать возврат денег, чтобы аргументировать претензию.
Промпт:
Сколько недель разумно ждать возврат денег за товар, купленный
онлайн, если в условиях гарантии срок возврата не указан?
Дай юридически обоснованную оценку.
Результат: Модель выдаст одно конкретное число (например, «2 недели») уверенным тоном, будто это установленная норма. На деле разброс мнений живых людей на этот вопрос гораздо шире — от нескольких дней до пары месяцев, и позиция потребителя в этом разбросе часто требует больше времени на возврат, чем скажет модель. Есть риск, что твоя переговорная позиция окажется слабее, если ты примешь ответ модели за объективный факт.
Почему это работает
LLM обучены на текстах, где преобладают юридические документы, деловая переписка и публикации — жанры, которые исторически писали более образованные и привилегированные авторы. Модель не «знает» разумность — она предсказывает наиболее вероятный ответ на основе паттернов в этих текстах, и наиболее вероятный ответ оказывается похож на голос доминирующей группы авторов.
Вторая причина — все крупные модели учатся на похожих данных (Common Crawl и подобные корпуса) и похожими методами (next-token prediction). Поэтому модели сходятся к одному и тому же узкому «облаку» ответов, даже если это разные компании и архитектуры. Это как если бы все ученики списывали у одного отличника — их ответы будут похожи, даже если списывали независимо.
Рычаг управления: если явно попросить модель показать разные точки зрения (потребитель vs компания, разные демографические группы), она способна это сделать — просто по умолчанию не делает, потому что тебе нужно специально запросить разнообразие, иначе получишь одну сжатую позицию.
Шаблон промпта
Для вопросов, где нет чёткого правила и нужна оценка «разумности» — используй это, чтобы увидеть весь спектр мнений, а не одну усреднённую позицию модели:
Оцени, что было бы «разумным» в следующей ситуации: {описание ситуации}.
Прежде чем дать один ответ, покажи, как на этот вопрос
ответили бы разные стороны:
1) {слабая сторона — потребитель/сотрудник/арендатор}
2) {сильная сторона — компания/государство/работодатель}
Укажи диапазон возможных оценок, а не одно число.
Объясни, почему эти точки зрения могут отличаться друг от друга.
Что подставлять: {описание ситуации} — твой конкретный спор или вопрос; {слабая сторона} и {сильная сторона} — участники твоей ситуации (ты и компания, ты и государство, и т.д.).
🚀 Быстрый старт — вставь в чат:
Вот шаблон для оценки «разумности» с учётом разных точек зрения.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит, кто участники спора и в чём конкретно расхождение — потому что без этого не сможет развести «слабую» и «сильную» сторону и покажет только одну усреднённую цифру вместо диапазона.
Ограничения
⚠️ Только числовые оценки: исследование проверяло вопросы вида «сколько дней/часов/процентов разумно» — про текстовые рассуждения о разумности (например, «было ли это решение оправданным») выводы могут не переноситься напрямую.
⚠️ Смещение не исчезает само: если просто спросить модель «дай мне разумную оценку» — она не покажет тебе диапазон мнений или альтернативные позиции сама. Нужно явно просить разные точки зрения (см. шаблон выше).
⚠️ Предварительные результаты: сами авторы говорят, что нужны дополнительные исследования, чтобы подтвердить закономерность про демографическое смещение — это не железобетонный факт, а сигнал для осторожности.
Как исследовали
Исследователи собрали 500 живых людей через платформу Prolific и опросили их про 25 юридически значимых ситуаций — от «сколько недель разумно ждать задержки стройки» до «сколько дней можно держать иммигранта под стражей перед депортацией». Половине участников задавали вопрос про «разумное» количество, половине — про «идеальное», чтобы понять, в какую сторону смещаются оценки.
Те же 25 вопросов задали 26 моделям (GPT, Claude, Gemini, Llama, DeepSeek, Grok и другим), причём каждой модели — по 20 раз на вопрос, чтобы получить распределение, а не единичный ответ. Ответы сравнили тремя статистическими тестами: на разброс (модели дают более узкий диапазон, чем люди), на общее совпадение распределений (отличаются, но не радикально) и на направление смещения (в какую сторону — к большему или меньшему числу).
Самое интересное — анализ через демографическое сходство: исследователи посчитали, чьи ответы среди живых людей (по возрасту, полу, расе, образованию) похожи на ответы моделей больше всего. Оказалось, что модели ближе к ответам белых, мужчин, людей старше 45 и с высшим образованием — то есть исторически доминирующей в юридических и деловых текстах группы. Это логично: если модель учится предсказывать «наиболее вероятный» текст, а большинство юридических и деловых текстов исторически писала эта группа, модель и будет звучать похоже на неё.