TL;DR
Тест перестановки — это проверка выбора модели из готового списка. Вопрос и варианты остаются прежними, но порядок вариантов меняется (оригинал, обратный и несколько случайных). Смотреть нужно на ответ по каждому вопросу отдельно, а не на среднюю точность. Авторы так проверили специализированные модели «System One» (Jev и его клоны), которые вместо текста выдают вероятности по готовым вариантам. Сравнили их с обычными LLM. Вывод про смещение выбора касается любой модели, которой вы даёте список вариантов.
Главная находка: средняя точность почти не меняется, а ответы на конкретные вопросы прыгают. При смене порядка часть правильных ответов становится неправильной, часть неправильных исправляется. Эти потери и приобретения компенсируют друг друга, и общая цифра выглядит стабильно (разброс меньше двух процентных пунктов). Но у Jev около четверти вопросов, на которые модель ответила верно с первого раза, хотя бы в одном из порядков оказываются провалены. Повтор запроса в том же порядке этого не показывает: ответы почти идентичны, и создаётся ложное чувство надёжности. Специализированная структура «выбор из списка» от этого не защищает: обычные LLM (Claude, GPT, Gemini и DeepSeek) в большинстве сравнений теряют правильные ответы реже.
Суть метода: прогнать один и тот же выбор несколько раз (в статье — восемь) с разным порядком вариантов и смотреть, какие вопросы расходятся. Голосование по перестановкам даёт лишь скромный прирост. Единогласный ответ при этом не гарантия: даже когда все восемь порядков дали один ответ, он часто неверный.
Схема метода
ШАГ 1: Берёшь вопрос + список вариантов → фиксируешь содержимое
ШАГ 2: Делаешь N версий промпта: оригинал, обратный порядок, 4–6 случайных
(метка варианта едет вместе с его текстом)
ШАГ 3: Каждая версия — отдельный запрос, без памяти о прошлых ответах
ШАГ 4: Сопоставляешь ответы по содержимому варианта, не по позиции
ШАГ 5: Смотришь: где ответ менялся → хрупкий вопрос;
где совпал → не значит «верно»
Это несколько отдельных запросов. В одном промпте метод не сделать: модель не должна видеть свои прошлые ответы.
Пример применения
Задача: Вы руководите поддержкой маркетплейса вроде Ozon. LLM раскладывает обращения по 8 категориям: «возврат», «задержка доставки», «брак», «ошибка в заказе» и так далее. Вы хотите понять, на каких обращениях можно доверять разметке без проверки.
Промпт (версия 1, оригинальный порядок):
Обращение клиента: «Заказал кофемашину 12 дней назад, в приложении
статус "передан в доставку", курьер не звонил, а деньги списали
сразу. Хочу отменить заказ и вернуть деньги».
Выбери ОДНУ категорию, которая лучше всего подходит. Ответь только
ключом.
K1: Возврат денег
K2: Задержка доставки
K3: Брак товара
K4: Ошибка в заказе
K5: Проблема с оплатой
K6: Отмена заказа
K7: Вопрос по гарантии
K8: Другое
Версия 2: те же слова, но строки идут в обратном порядке (K8 … K1). Версии 3–6: случайный порядок строк. Метки K1–K8 остаются у своих вариантов.
Результат: Вы получите 6 ответов на одно обращение. Где модель каждый раз называет один ключ, обращение «устойчивое». Где ключ меняется (например, между K1, K2 и K6), это хрупкий случай, и его стоит отправить человеку. Но «устойчивое» не значит «верное»: выборочно проверьте и единогласные ответы.
Пометка: правило «расхождение → на ручную проверку» — моя экстраполяция. Авторы показали, что расхождения реальны и массовы, а единогласие ошибок не исключает. Порог для вашей задачи проверьте на выборке.
Почему это работает
Слабость. Модель выбирает не только по смыслу вариантов, но и по их положению в списке. Просьба «не обращай внимания на порядок» или «подумай по шагам» полностью смещение не убирает. Обычная оценка точности это не ловит: потери в одних вопросах скрывают выигрыши в других.
Что делает тест. Он превращает скрытую нестабильность в видимую. Один и тот же вопрос в разном порядке — это эксперимент без новой информации. Если ответ меняется, значит, на выбор влияла подача, а не суть. Повтор в том же порядке этого не покажет: у специализированных моделей совпадение при таком повторе было 92–100%, а при смене порядка они теряли от четверти до двух третей изначально верных ответов.
Рычаги управления: - Число перестановок. В статье восемь. Для рабочей проверки хватит меньше (3–4), но первые провалы продолжали появляться вплоть до последней перестановки. Мало прогонов — часть хрупких вопросов не поймаете. - Обратный порядок. Это самая простая и дающая много расхождений перестановка. Начните с неё. - Голосование. Берёте самый частый ответ. Прирост скромный, поэтому не ждите от него чуда. - Метки. Привяжите метку к варианту и сопоставляйте ответы по тексту варианта, а не по месту в списке.
Шаблон промпта
{вопрос_или_текст_для_классификации}
Выбери ОДИН вариант, который лучше всего подходит.
Ответь только ключом.
{ключ_1}: {вариант_1}
{ключ_2}: {вариант_2}
{ключ_3}: {вариант_3}
...
{ключ_N}: {вариант_N}
Подставляйте:
- {вопрос_или_текст_для_классификации} — одно и то же во всех версиях;
- {ключ_i} — метка, которая навсегда закреплена за вариантом (K1, K2 или А, Б, В);
- порядок строк — единственное, что меняется между версиями.
Запускайте каждую версию в новом чате или отдельным запросом. Если в одной переписке модель видит свои прошлые ответы, тест испорчен.
🚀 Быстрый старт — вставь в чат:
Вот шаблон теста перестановки вариантов. Адаптируй под мою задачу:
{твоя задача}. Задавай вопросы, чтобы заполнить поля.
Затем выдай 6 версий промпта: оригинал, обратный порядок
и 4 случайных. Метки вариантов не меняй, меняй только порядок строк.
[вставить шаблон выше]
LLM спросит, что вы выбираете и какие варианты есть. Нужно это потому, что метод работает только с закреплёнными за вариантами метками. Она подготовит версии, а вы прогоните каждую в отдельном чате и сравните ответы.
Ограничения
⚠️ Тест на выбор из списка: Вопросы с одним верным ответом из 4–32 вариантов (экзамены по праву и науке). Для творческих задач и открытых ответов результаты напрямую не переносятся.
⚠️ Способ защиты не проверен: Авторы показывают проблему и измеряют, как её вскрыть. Промпт-приёма, который смещение гасит, в доступной части статьи нет. Голосование помогает лишь скромно.
⚠️ Обычные LLM — с низким уровнем рассуждения: Ответы получали при минимальном режиме «подумай». Как поведут себя режимы с глубоким рассуждением, из статьи не следует.
⚠️ Не универсальный рейтинг моделей: Одни обычные LLM сохраняют правильные ответы лучше специализированных, другие (Qwen, GLM) хуже. Нельзя сказать, что «обычные всегда лучше».
⚠️ Текст статьи обрезан: Разделы про трудность вопросов, число вариантов и голосование прочитаны лишь частично. Выводы из них здесь не использованы.
⚠️ Единогласие не гарантия: Если все перестановки дали один ответ, он может быть неверным. Тест ловит нестабильность, но не ошибки, в которых модель последовательна.
Как исследовали
Команда Tencent взяла 1 700 вопросов из двух наборов: научные вопросы SuperGPQA и юридические экзамены LEXam. Позже добавили ещё два набора, MMLU-Pro и GPQA Diamond, чтобы проверить, что результат не зависит от выбора данных. Каждый вопрос показывали в восьми порядках: оригинал, обратный и шесть случайных. Участвовали 20 моделей: две версии Jev, двенадцать его клонов и шесть обычных LLM. Параллельно шла контрольная серия: тот же вопрос восемь раз подряд в одном и том же порядке. Сравнение двух серий показывает, виноват ли порядок или просто случайность модели.
Главное удивление: средняя точность почти не двигалась (разброс 1–2,5 п.п.), но у Jev множество проваленных вопросов выросло примерно на 27–28% относительно первого порядка. Новые провалы появлялись даже на восьмой перестановке. У клонов совпадение при фиксированном порядке достигало 92–100%, но при перестановке они теряли от 23% до 64% изначально верных ответов. Повторы показывают устойчивость, а не верность.
Чтобы не сравнивать модели с разной силой, авторы взяли 487 вопросов, на которые правильно отвечали все модели. Там Jev сохранил около 85% верных ответов, а GPT и Claude — 96–98%. Разрыв остался, то есть дело не в сложности вопросов. Практический вывод: нельзя судить о надёжности по средней точности или по повтору в одном порядке. Проверять надо на смене порядка.
Адаптации и экстраполяции
🔧 Техника: LLM-судья → обмен местами
Статья ссылается на известный эффект: если поменять местами два одинаковых ответа, судья может изменить предпочтение. Для сравнения двух текстов (например, двух вариантов рекламы) запускайте судью дважды, меняя порядок. Если выбор не совпал, не считайте результат решением.
Экстраполяция (в статье не проверялась):
Ниже два варианта {что_сравниваем}. Выбери лучший по критерию
{критерий}. Ответь только ключом: A или B.
A: {текст_1}
B: {текст_2}
Затем запусти заново, поменяв местами тексты (A↔B). Одинаковый победитель по содержанию — результат устойчивый. Разные — ничья или слабый сигнал.
Ресурсы
- «Understanding Jev-Style System One Models: Does Structure Reduce Selection Bias?» (Work in Progress)
- Авторы: Mingyang Song, Mao Zheng, Zhiyuan Ma, Xinpeng Zhou, Foundation Model Department, Tencent
- Использованные наборы: SuperGPQA, LEXam, MMLU-Pro, GPQA Diamond
- Опорные работы по смещению позиции: Pezeshkpour & Hruschka (2024), Zheng et al. (2024), Wang et al. (2023)
- Описание Jev: блог TypeSafe (typesafe.ai)