TL;DR
Когда просишь LLM выбрать из нескольких вариантов на субъективный вопрос — мнение, рекомендацию, оценку — ответ почти наполовину определяется порядком вариантов, а не их содержанием. Не формулировкой вопроса, не логикой — именно порядком. Исследование систематически проверило, как разные изменения промпта влияют на стабильность ответов, и нашло чёткую закономерность: перестановка вариантов обрушивает согласованность до 40%, тогда как переформулировка слов почти не влияет (93% стабильности).
Это важно потому, что субъективные вопросы не имеют правильного ответа. Когда спрашиваешь столицу Франции — модель не смотрит, в каком порядке стоят варианты: есть объективный якорь. Когда спрашиваешь "какой подход лучше", "что важнее", "какую стратегию выбрать" — якоря нет. Модель генерирует текст, ориентируясь на позицию в списке как на сигнал. Не потому что она предвзята, а потому что позиция — это единственный устойчивый паттерн в отсутствие правильного ответа.
Вывод практический: одному ответу LLM на субъективный вопрос с вариантами доверять нельзя. Чтобы получить надёжное мнение — нужно проверить стабильность: задать тот же вопрос с вариантами в разном порядке. Что остаётся стабильным — реально, что меняется — артефакт позиции.
Схема метода
ШАГ 1: Определи тип вопроса
→ Объективный (есть правильный ответ)? Одного запроса достаточно
→ Субъективный (мнение, рекомендация)? Нужна проверка
ШАГ 2: Задай тот же вопрос с вариантами в РАЗНОМ порядке
→ Вариант А → Б → В → Г (исходный порядок)
→ Вариант Г → В → Б → А (обратный порядок)
→ Вариант В → А → Г → Б (случайный порядок)
ШАГ 3: Сравни ответы
→ Совпадают? → Этому мнению можно доверять
→ Расходятся? → Реального мнения нет, есть позиционный шум
(Всё в одном чате, три отдельных запроса)
Пример применения
Задача: Ты запускаешь телеграм-канал для малого бизнеса и просишь Claude выбрать лучший формат монетизации.
Промпт (исходный порядок):
Я веду телеграм-канал про маркетинг для малого бизнеса,
8 000 подписчиков, аудитория — владельцы локальных бизнесов.
Выбери ОДИН лучший формат монетизации для моего случая:
А) Продажа рекламных интеграций брендам
Б) Платное сообщество с закрытым чатом
В) Онлайн-курс по маркетингу
Г) Консультации 1-на-1
Объясни выбор.
Промпт (проверочный — обратный порядок):
Я веду телеграм-канал про маркетинг для малого бизнеса,
8 000 подписчиков, аудитория — владельцы локальных бизнесов.
Выбери ОДИН лучший формат монетизации для моего случая:
А) Консультации 1-на-1
Б) Онлайн-курс по маркетингу
В) Платное сообщество с закрытым чатом
Г) Продажа рекламных интеграций брендам
Объясни выбор.
Результат:
Если оба запроса дали одинаковый ответ — мнение модели устойчивое, можно на него опираться. Если ответы разные (в первом запросе выбрала платное сообщество, во втором — консультации) — значит, аргументация убедительная, но сам выбор случайный. Тогда стоит попросить развёрнутое сравнение без указания порядка, или задать вопрос без вариантов: "Что лучше всего для моего случая и почему?"
Почему это работает
Слабость LLM: Модель не выбирает из вариантов — она генерирует следующий токен, опираясь на паттерны в тексте. Для субъективных вопросов нет "правильного ответа" в обучающих данных — зато есть паттерн: "варианты, стоящие первыми или последними, выбирают чаще". Модель воспроизводит этот паттерн, не зная об этом.
Что кардинально меняет картину: Для факт-вопросов этот эффект почти не работает — есть якорь в виде правильного ответа. Модель знает, что Марс — четвёртая планета, и никакой порядок вариантов это не изменит. Но "какой подход важнее — клиентский сервис или цена" — якоря нет. И тогда позиция в списке становится сигналом.
Рычаги управления: Знание об этом эффекте даёт три инструмента:
🔧 Убери варианты совсем → спроси открыто: "Что лучше для моего случая?" — получишь более независимое мнение без позиционного шума
🔧 Перемешай варианты → спроси несколько раз с разным порядком — пересечение ответов покажет реально устойчивую позицию
🔧 Разбей вопрос на попарные сравнения → вместо "выбери из четырёх" → "сравни А и Б", потом "сравни В и Г" — каждый раз только два варианта, позиционный эффект меньше
Шаблон промпта
Проверка на позиционный сдвиг
Вопрос (раунд 1 — исходный порядок):
{Контекст задачи. Выбери лучший вариант:}
А) {вариант_1}
Б) {вариант_2}
В) {вариант_3}
Г) {вариант_4}
Обоснуй выбор.
---
[В новом сообщении — раунд 2:]
{Тот же контекст задачи. Выбери лучший вариант:}
А) {вариант_4}
Б) {вариант_3}
В) {вариант_2}
Г) {вариант_1}
Обоснуй выбор.
---
[Сравни ответы сам или попроси LLM:]
Я задал один и тот же вопрос с вариантами в разном порядке.
В первом ответе выбран {ответ_1}, во втором — {ответ_2}.
Это разные варианты. Что это говорит о надёжности выбора?
Дай независимую рекомендацию без привязки к порядку вариантов.
Что подставлять:
- {Контекст задачи} — описание твоей ситуации
- {вариант_1..4} — конкретные опции, которые хочешь сравнить
- {ответ_1}, {ответ_2} — фактические ответы после первых двух запросов
🚀 Быстрый старт — вставь в чат:
Вот шаблон проверки на позиционный сдвиг в ответах LLM.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит о контексте и вариантах выбора — потому что без них нельзя составить два корректных промпта с разным порядком. Она возьмёт паттерн из шаблона и подготовит оба варианта запроса сразу.
Ограничения
⚠️ Только для вопросов с вариантами: Если задаёшь открытый вопрос без предложенных опций — позиционный эффект не работает. Метод актуален только когда сам предлагаешь список вариантов для выбора.
⚠️ Семантика почти не влияет: Если просто переформулируешь вопрос другими словами — ответ останется стабильным. Главный источник нестабильности именно порядок вариантов, а не wording.
⚠️ Не про ложь: Модель не притворяется и не манипулирует. Позиционный сдвиг — это статистический артефакт обучения, не намеренное поведение. Модель генерирует то, что вероятно при данном порядке токенов.
⚠️ Объективные вопросы стабильны: Для задач с правильным ответом эффект минимален. Не нужно проверять факты через перестановку вариантов — это лишнее.
Почему это работает
Исследователи взяли шесть датасетов — три с правильными ответами (вопросы на знания, культурные факты, школьный уровень) и три субъективных (политический компас, ценностные опросники, World Values Survey). Для каждого вопроса сгенерировали варианты с семью типами изменений: переформулировка, замена синонимами, орфографические ошибки, замена меток (А/Б/В на 1/2/3), изменение форматирования, перестановка вариантов ответа. Тестировали на четырёх семействах моделей: Gemma, Llama, Mistral, Qwen — при детерминированном декодировании (температура 0), чтобы исключить случайность.
Ключевое открытие вышло неожиданным по масштабу. Все ожидали, что переформулировка ("выбери" → "определи") будет опасна — оказалось, нет. Стабильность при переформулировке — 91%. Стабильность при перестановке вариантов — 40%. Это разрыв в два с лишним раза. Причём разрыв между объективными и субъективными вопросами при перестановке огромный: 48% vs 33%. У субъективных вопросов просто нет якоря, который бы удержал ответ.
Интересная деталь: Qwen оказался заметно более устойчив к перестановкам, чем Llama и Mistral — но и у него наблюдался чёткий провал именно в этой категории. Это означает, что паттерн универсальный, просто выраженный в разной степени.
Адаптации и экстраполяции
1. Попарное сравнение вместо списка
🔧 Техника: разбить список на пары → снизить позиционный шум
Вместо "выбери лучший из четырёх вариантов":
Сравни только эти два варианта для моей задачи {контекст}:
Вариант 1: {А}
Вариант 2: {Б}
Какой лучше и почему?
Потом повторяешь для следующей пары. Потом сравниваешь победителей. При двух вариантах позиционный эффект (первый vs последний) гораздо слабее, чем при четырёх-пяти.
2. Открытый вопрос как нулевой контроль
🔧 Техника: сначала открытый вопрос, потом варианты → сравни
Сначала спроси без вариантов:
Для моей задачи {контекст}: что лучше всего? Предложи сам.
Потом задай тот же вопрос с вариантами. Если ответ совпадает с одним из вариантов в списке — это сильный сигнал. Если расходится — модель, вероятно, была уведена позицией варианта.
3. Диагностика перед важным решением
Если планируешь опираться на мнение LLM при выборе подрядчика, стратегии, инструмента — добавь в промпт:
После своего ответа: если бы я поменял эти варианты местами,
твой выбор изменился бы? Объясни.
Модель честно скажет, насколько её выбор зависел от порядка — и это само по себе ценная информация.
Ресурсы
Название: Prompt Robustness Is Task-Dependent: Comparing Objective and Belief-Style Questions in LLM Evaluation
Авторы: Sadia Kamal, Arefa Patwary, Anthony Marchiafava, Atriya Sen, Sagnik Ray Choudhury
Организации: Oklahoma State University, University of North Texas
Связанные работы: POSIX (Chatterjee et al., 2024) — индекс чувствительности к промптам; Promptception (Ismithdeen et al., 2025) — фреймворк perturbation для multimodal; Sclar et al. (2024) — форматирование промпта и точность