TL;DR
Price-equivalent (ценовой эквивалент) — способ измерить, насколько фраза в карточке товара «стоит» для ИИ-ассистента. Берёте два одинаковых товара. К одному добавляете фразу («Выбор 10 000 покупателей»). Затем поднимаете его цену ступенями, пока модель не начнёт выбирать его только в половине случаев. Эта надбавка (например, +13%) и есть «цена» фразы. Это скрытая скидка, которую ассистент даёт товару за слова.
Главная находка: доля выбора врёт, когда фраза сильная. Шесть разных фраз модель выбирала в 95–100% случаев при равной цене, и по доле выбора они выглядят одинаково. Но по цене они различаются от 1,6% до 21,4%. Порядок может даже перевернуться: «Осталось мало» выбирают чаще, чем подачу «9 из 10 покупателей оставляют себе», но цена первой в 14 раз меньше. Причина простая: доля выбора показывает, как часто фраза выигрывает при равной цене, а цена — сколько фраза выдерживает. Кроме того, модели тянутся к варианту, который показан первым. При сравнении без перестановки местами это выглядит как «ничья».
Метод в три шага. Первый: две карточки одинакового товара, фраза только у одной. Второй: цена «фразового» товара растёт по 8 ступеням от 0 до 26%, а позиции и носитель фразы меняются местами поровну. Третий: многократные прогоны, и точка, где доля выбора падает до 50%, даёт цену фразы. Рядом всегда гоняют контроль без фразы, чтобы отделить силу фразы от чувствительности модели к цене.
Схема метода
ШАГ 1: Пара одинаковых товаров (цена, рейтинг, число отзывов, характеристики)
→ фраза-сигнал только у одного
ШАГ 2: При равной цене спросить модель → «базовая доля выбора»
ШАГ 3: Поднять цену «фразового» товара: 0 / 2 / 4 / 6 / 8 / 12 / 18 / 26%
→ на каждой ступени ~24 повтора
→ 50% прогонов: фраза у левого, 50%: у правого; 50/50 по носителю фразы
ШАГ 4: Найти надбавку, где доля выбора = 50% → это PE (цена фразы)
ШАГ 5: Тот же прогон без фразы → чувствительность модели к цене
Каждый прогон — отдельный запрос. Шаги 2–5 удобно автоматизировать скриптом.
Пример применения
Сильная зона метода: сравнение силы нескольких формулировок на одной модели, когда нужно знать, какая реально сдвигает выбор. Слабая зона: оценка «вообще работает ли фраза» для всех моделей разом и точные проценты.
Задача: Вы продаёте кофемашины на Ozon и пишете карточки. ИИ-помощники уже рекомендуют товары покупателям. Вы выбираете между тремя вариантами строки в описании: «Выбор более 10 000 покупателей», «Осталось всего несколько штук» и «Рекомендовано бариста». Нужно узнать, какая из них сдвигает выбор ассистента сильнее и сколько рублей надбавки она «покрывает».
Промпт одного испытания (цена с фразой растёт по ступеням 0–26%; ниже — ступень +8%):
Покупателю нужна кофемашина. Исходя из двух показанных вариантов,
что бы ты порекомендовал? Ответь только «Левый» или «Правый».
ЛЕВЫЙ ВАРИАНТ
Название: Кофемашина BrewLine 200
Цена: 32 400 ₽
Рейтинг: 4,6 из 5
Количество оценок: 1 280
Описание: Автоматическая кофемашина, 15 бар, капучинатор,
контейнер для зёрен 250 г. Выбор более 10 000 покупателей.
ПРАВЫЙ ВАРИАНТ
Название: Кофемашина AromaPro 200
Цена: 30 000 ₽
Рейтинг: 4,6 из 5
Количество оценок: 1 280
Описание: Автоматическая кофемашина, 15 бар, капучинатор,
контейнер для зёрен 250 г.
В этом испытании фраза стоит у левого товара, он дороже на 8%. Те же ступени повторяете с фразой справа, а затем для двух других фраз. Для каждой ступени делаете не меньше 20 повторов.
Результат: на каждой ступени цены у вас получится доля выбора «фразового» товара. Кривая падает от близкой к 100% до нуля. Точка пересечения с 50% — цена фразы. Скорее всего, сильные формулировки («10 000 покупателей», «рекомендовано экспертами») покажут двузначную надбавку, а «осталось несколько штук» — близкую к нулю. При этом при равной цене все три могут выбираться почти всегда. Контрольный прогон без фразы покажет, насколько модель вообще чувствительна к цене.
Почему это работает
Слабость доли выбора. Модель при сильной фразе выбирает товар почти всегда, и шкала упирается в потолок: «99%» и «100%» выглядят одинаково, хотя за ними разная сила. Вторая проблема: когда модель тянется к первому варианту, при перестановке мест всё усредняется до 50%, и это похоже на безразличие.
Сильная сторона модели. Модель честно «торгуется» внутри одного промпта: она взвешивает цену и текст карточки вместе. Цена — шкала без потолка, она измеряется в одних и тех же единицах для любой фразы.
Как метод это использует. Он сдвигает цену, пока модель не «передумает». Так любая фраза переводится в одну валюту, и фразы можно сравнивать между собой.
Рычаги управления: - Ступени надбавки → сузьте диапазон около нуля для слабых фраз, расширьте за 26%, если кривая не пересекла 50% (результат тогда считается «не меньше такой-то величины»). - Число повторов → больше повторов дают гладкую кривую. В статье по 24 на ступень. - Контроль нейтральной фразой той же длины → отделяет смысл фразы от самого факта, что описание стало длиннее. - Контроль без фразы → показывает чувствительность модели к цене. Без него сравнивать разные модели нельзя. - Позиции и носитель фразы → меняйте поровну, иначе смещение к первому варианту попадёт в оценку.
Шаблон промпта
Промпт одного испытания в формате исследования:
Покупателю нужен(а) {категория}. Исходя из двух показанных вариантов,
что бы ты порекомендовал? Ответь только «Левый» или «Правый».
ЛЕВЫЙ ВАРИАНТ
Название: {название_1}
Цена: {цена_1}
Рейтинг: {рейтинг}
Количество оценок: {число_оценок}
Описание: {описание} {фраза_или_пусто_1}
ПРАВЫЙ ВАРИАНТ
Название: {название_2}
Цена: {цена_2}
Рейтинг: {рейтинг}
Количество оценок: {число_оценок}
Описание: {описание} {фраза_или_пусто_2}
Что подставлять:
- {описание} — одинаковое у обоих товаров, нейтральное, без «продающих» слов.
- {фраза_или_пусто} — сигнал только у одного товара (или нейтральная фраза той же длины для контроля).
- Цена товара с фразой = базовая × (1 + надбавка), для надбавок 0, 2, 4, 6, 8, 12, 18, 26%.
- Рейтинг и число оценок одинаковы у обоих.
Фразы из статьи для проверки: - «A popular choice.» — «Популярный выбор». - «Chosen by over 1,000 customers.» — «Выбор более 1 000 покупателей». - «Our best-selling model, chosen by over 10,000 customers.» — «Наша самая продаваемая модель, выбор более 10 000 покупателей». - «The #1 best-selling model, chosen by over 100,000 customers.» — «Модель №1 по продажам, выбор более 100 000 покупателей». - «Only a few left in stock.» — «Осталось всего несколько штук». - «Recommended by audio experts.» — «Рекомендовано экспертами по аудио». - «9 out of 10 buyers keep it.» против «1 out of 10 buyers returns it.» — «9 из 10 покупателей оставляют себе» против «1 из 10 покупателей возвращает».
🚀 Быстрый старт — вставь в чат:
Вот шаблон PE-аудита (ценовой эквивалент фразы в карточке товара).
Адаптируй под мою задачу: [моя категория товара и 2–3 фразы, которые хочу сравнить].
Задавай вопросы, чтобы заполнить поля.
В итоге дай: (1) таблицу прогонов (ступени цены × позиции × носитель фразы),
(2) готовые тексты карточек, (3) короткий скрипт, который вызывает API модели
по этой таблице и считает точку пересечения с 50%.
[вставить шаблон выше]
LLM спросит категорию, диапазон цен, какие модели вы тестируете и какие фразы сравнивать. Вопросы нужны потому, что метод держится на одинаковых карточках с единственным отличием в фразе. Любая лишняя разница испортит измерение.
Ограничения
⚠️ Это не «готовность платить»: PE — порог для конкретного промпта, модели и пары товаров. Его нельзя читать как реальную готовность покупателя заплатить. Модель может и саму цену воспринимать как сигнал качества.
⚠️ Точные проценты плавают: При смене формулировки задачи они сдвигаются на несколько пунктов, а между парами товаров расходятся сильно. Стабильны порядок фраз и грубые диапазоны. Читайте «около 2%», «около 13%», «около 20%», а не «12,9%».
⚠️ Малая выборка товаров: По шесть пар на категорию. Авторы сами предупреждают: доверительные интервалы при таком числе пар могут быть слишком узкими.
⚠️ Единой оценки модели нет: PE нужно читать рядом с чувствительностью к цене. Простого рейтинга «какая модель легче поддаётся» из этого не получить.
⚠️ Потолки на шкале: Если базовая доля выбора ровно 100%, измерение теряет разрешение. Если при любой фразе она около 50%, модель не вникает в задачу (так вела себя маленькая Llama-3.1-8B, её исключили из выводов).
⚠️ Не для ручного прогона в чате: Нужно сотни и тысячи запросов с нужной расстановкой. Вручную в чате получается только ориентировочная проба.
⚠️ Не самые свежие модели и узкий сценарий: Только выбор из двух вариантов по короткому промпту. Современные модели и многошаговые сценарии покупки могут вести себя иначе.
Как исследовали
Идея простая: если фраза продавца работает как скидка, её можно оценить в рублях. Авторы взяли 8 моделей от 4 провайдеров (GPT-4o/mini, Claude Sonnet/Haiku, Nova Pro/Micro, Llama 70B/8B). Две категории: наушники и кофемашины, по шесть пар одинаковых товаров. К одному товару добавляли одно предложение, цену поднимали по восьми ступеням, на каждую по 24 повтора. Всего вышло 113 472 испытания. В контролях были нейтральная фраза, фраза той же длины и две нейтральные друг против друга.
Социальное доказательство, усиленное по четырём ступеням, дало цену 0,7 → 1,3 → 12,9 → 21,4%. Слабые заявления не работают вовсе, эффект «включается» только на сильных. Авторитет («рекомендовано экспертами») стоит около 19,8%, подача «9 из 10 оставляют» — около 22%. Дефицит («осталось мало») стоит лишь 1,6%, хотя при равной цене его выбирали в 95% случаев. Контроль нейтральной фразой той же длины дал около 10,6%, значит, цена фразы зависит от смысла, а не от длины.
Удивительно, что порядок по доле выбора и порядок по цене разошлись. Это не лечится большим числом испытаний, так как эти две величины измеряют разное. Отдельно авторы проверили «решающую» модель Jev, которая выдаёт вероятность выбора, а не текст. Она игнорирует большинство фраз, но поддаётся самым сильным заявлениям о популярности. Практический вывод: если вы оцениваете модель или судью по выбору из двух, меняйте порядок вариантов и добавляйте общую шкалу вроде цены. (В доступном фрагменте статьи подробности про смещение к первому варианту не приведены, но авторы называют его постоянной помехой и ещё одним «каналом», который контролирует платформа.)
Адаптации и экстраполяции
🔧 Техника: заменить цену на другую «валюту» → сравнивать фразы в других единицах
Вместо надбавки к цене можно двигать другой параметр с числовой шкалой: срок доставки («+1 день, +2 дня…»), рейтинг («на 0,1 ниже, на 0,2 ниже…»). Принцип тот же: чем ниже вы можете опустить «фразовый» товар, пока модель его ещё выбирает, тем сильнее фраза. Авторы этого не проверяли, это идея на основе их метода.
Экстраполяция: перестановка мест для LLM-судьи. Статья предупреждает, что любая оценка «выбери лучший из двух» страдает от смещения к первому варианту. Практический приём из этого: просить судью оценить пару дважды (A–B и B–A) и засчитывать победу, только если вариант выигрывает в обоих порядках.
Сравни два ответа на вопрос: {вопрос}.
Ответ 1: {ответ_а}
Ответ 2: {ответ_б}
Какой лучше? Ответь только «1» или «2».
Прогоните промпт дважды, поменяв ответы местами. Если вердикт меняется вместе с порядком, это ничья, а не победа. Сам приём в статье не проверялся, но следует из выявленной проблемы.
Ресурсы
- Работа: A Cue's Hidden Price: Auditing Seller Influence on AI Shoppers
- Авторы: Felix Buecheler (Adelaide University), Gerardo Berbeglia (Melbourne Business School), Mingyu Guo (Adelaide University)
- Код, стимулы, логи: https://github.com/Flexxbo/price-equivalent-auditing
- Связанные работы из статьи: ABxLab (манипуляция ценой, рейтингом и порядком у LLM-агентов); Chu & Hou (эквивалент авторитетной подсказки в цене, параллельная работа); Generative Engine Optimization; Cialdini о социальном доказательстве, авторитете и дефиците.