TL;DR
Если спросить модель «назови бренд», она назовёт лидера рынка: Nike, Chrome, Google. Если спросить «порекомендуй» или «какой бы ты выбрал», она уйдёт от лидера к нишевому и «со вкусом» бренду: Brooks, Firefox, DuckDuckGo. Это не случайность: разные модели от разных лабораторий сходятся на одном и том же выборе.
Боль в том, что ответ зависит от глагола в вопросе. «Назови» модель повторяет сама за собой в 89% случаев, а в двухходовом «порекомендуй, а теперь что выберешь лично ты» — только в 31%. Получается, что «что модель знает о бренде» и «что она посоветует» — два разных ответа. Причина — не в знаниях. Похоже, при дообучении на предпочтениях (DPO, когда модель учат выбирать лучший из двух ответов) она усвоила «вкус». Вкус этот пришёл не из примеров с брендами: их в обучающих данных почти нет.
Практический вывод: одиночный ответ на «посоветуй/выбери» — не нейтральная оценка рынка, а выраженный перекос в сторону определённого вкуса. Вкус можно проверить, задав один и тот же вопрос в разных формулировках и несколько раз.
Схема метода
Это не метод, а наблюдение. Но протокол проверки воспроизводится в чате:
ВОПРОС 1 «Назови»: «Назови бренд {категория}. Ответь только названием.» → лидер рынка
ВОПРОС 2 «Выбери»: «Выбери бренд {категория}. Ответь только названием.» → чуть смещается
ВОПРОС 3 «Порекомендуй»: «Можешь порекомендовать бренд {категория}? Только название.» → заметно смещается
ВОПРОС 4 «Двухходовой»: сначала «Можешь порекомендовать {категория}?» → затем «Какой выберешь ты?» → сильнее всего
Каждый вопрос — в новом чате, по 8 раз (температура 1).
Сравни самый частый ответ в каждой группе.
Чем больше «суждения» в глаголе, тем сильнее уход от лидера. Консенсус сдвигается в 6 категориях из 42 на «выбери», в 16 на «порекомендуй» и в 26 на двухходовом вопросе.
Пример применения
Задача: Вы маркетолог российского сервиса доставки продуктов. Руководство спрашивает: «Что ChatGPT и Claude говорят про нашу категорию? Нас вообще советуют?» Стажёр задал один вопрос («назови сервис доставки продуктов»), увидел лидера и сделал вывод, что всё понятно. Но так проверяется только знание модели, а не рекомендация.
Промпт (каждый вариант — в новом чате, минимум 5–8 повторов):
Вариант А: Назови сервис доставки продуктов в России. Ответь только названием.
Вариант Б: Выбери сервис доставки продуктов в России. Ответь только названием.
Вариант В: Можешь порекомендовать сервис доставки продуктов в России? Ответь только названием.
Вариант Г (в одном чате, два сообщения):
1) Можешь порекомендовать сервис доставки продуктов в России?
2) Какой из них выбрал бы ты?
Результат: Вы получите четыре набора ответов. По варианту А модель, скорее всего, назовёт самых известных игроков. По В и Г можно ожидать смещения в сторону других, более «нишевых» или «качественных» в её представлении сервисов. Если ваш бренд есть в А, но пропадает в Г, значит, вас знают, но не советуют. Это нужно показать руководству как отдельный риск. Это гипотеза для проверки: статья тестировала американские и мировые бренды на английском, а не российский рынок.
Почему это работает
Слабость. Вопрос «назови» просит вспомнить самое очевидное, а «порекомендуй» просит суждение. Модель не пересказывает рынок, а применяет усвоенный при обучении вкус. Если не знать этого, можно принять один ответ за «объективную картину».
Сильная сторона. Вкус у моделей устойчив и общий: один и тот же выбор повторяют модели почти всех лабораторий. Поэтому его легко измерить обычными повторными запросами, без доступа к внутренностям модели.
Как это использовать. Меняйте глагол и смотрите, что сдвигается. Рычаги: - Глагол: «назови» → «выбери» → «порекомендуй» → «что выберешь лично ты». Чем больше суждения, тем дальше от лидера. - Один ответ или список: просьба «только название» заставляет модель выбрать одного. В списке лидер часто остаётся, но уходит с первого места. - Повторы: температура 1 и 5–8 запусков показывают, насколько ответ устойчив, а не случаен.
Шаблон промпта
Я проверяю, как ты отвечаешь на вопросы о категории «{категория}».
Сделай ниже четыре ответа независимо друг от друга, не ссылаясь на предыдущие.
1. НАЗОВИ: Назови бренд в категории «{категория}». Ответь только названием.
2. ВЫБЕРИ: Выбери бренд в категории «{категория}». Ответь только названием.
3. ПОРЕКОМЕНДУЙ: Можешь порекомендовать бренд в категории «{категория}»? Ответь только названием.
4. ДВА ХОДА: Порекомендуй несколько брендов в категории «{категория}». Затем скажи, какой из них выбрал бы ты, и почему.
В конце напиши: совпали ли ответы 1–3, и чем отличается ответ 4.
Подставьте {категория} — например «мессенджер», «банк», «CRM для малого бизнеса». Честнее запускать каждый вопрос отдельно в новых чатах: в одном чате ответы влияют друг на друга. Шаблон выше — быстрый вариант для первой оценки.
Ограничения
⚠️ Короткие вопросы без контекста: Авторы сами пишут, что на коротких запросах результат может не совпадать с реальным использованием. Если в вопросе есть бюджет, город и задача пользователя, картина может быть другой.
⚠️ Рынок и язык: Категории и бренды в основном американские и мировые. Для российского рынка такой же сдвиг не проверяли, это нужно проверять самому.
⚠️ Механизм — гипотеза: Где именно в обучении рождается «вкус», показано на трёх открытых моделях одной лаборатории. Версия про «модель-судью» подтвердилась только частично (в одном конвейере из двух). Читателю механизм нужен для понимания, а не для действий.
⚠️ Как повлиять — неизвестно: Статья не отвечает, как бренду попасть в рекомендации. Авторы называют это задачей на будущее.
⚠️ Поиск в интернете: Проверка с веб-поиском сделана на одной модели в виде выборочной проверки. Она показала, что модель отвечала по памяти и не искала. Не ожидайте, что подключённый поиск автоматически исправит перекос.
⚠️ Срез по времени: Данные собраны с 30 сентября по 10 октября 2026 года. Модели обновляются, и «вкус» может смещаться.
Как исследовали
Идея была простой: задать моделям один и тот же вопрос разными глаголами и посмотреть, что изменится. Взяли 102 модели через OpenRouter, 42 категории (от газировки до облачных провайдеров), температуру 1, по 8 запусков на вопрос. Выяснилось, что при «назови» у каждой категории чёткий лидер, и модель повторяет себя в 89% случаев. На «порекомендуй, а потом выбери» консенсус сдвигается в 26 из 42 категорий, а собственный первый ответ модели совпадает с итоговым только в 31%. Интересно, что модели не отвергают лидера: он остаётся в списке в 83% случаев, но теряет первое место.
Потом авторы искали, откуда берётся этот сдвиг. Они взяли три открытых конвейера обучения, где сохранены чекпоинты после каждого этапа: предобучение, SFT (обучение отвечать), DPO, RL. Выбор «нишевого» бренда над лидером почти не меняется на SFT и заметно растёт на DPO на 11–24 пунктов. Удивило то, что в 260 000 обучающих парах DPO почти нет сравнений брендов: выбранный ответ называет «нишевый» бренд 3 раза, отвергнутый — 1 раз. То же происходит вне брендов: на вопрос «выбери соус» базовая модель OLMo 3 7B говорит «песто» в 5% случаев, после DPO — в 67%, а кетчуп падает с 72% до 6%. Для практика это значит: перекос вкуса не зависит от того, что написано про бренд в интернете, и его нельзя объяснить «в интернете про них больше пишут».
Адаптации и экстраполяции
Это мои идеи по мотивам. В статье они не проверялись.
🔧 Техника: уберите «только название» → увидите логику выбора
В статье модель просили отвечать одним названием. Если убрать это ограничение, получите список и аргументы. В статье такая форма тоже была проверена на открытых ответах: глагольный эффект сохраняется, но без ограничения слабее. Для задач выбора поставщика или инструмента это полезнее: видно, по каким критериям модель спускает лидера.
Порекомендуй {категория} для {задача}. Дай 3 варианта с критериями выбора.
Отдельно скажи, почему не рекомендуешь самый известный вариант на рынке.
Экстраполяция: проверка «вкуса» перед использованием модели как советчика
Если вы строите бота-консультанта или автоматизацию с рекомендациями клиентам, прогоните эти четыре вопроса по вашим категориям до запуска. Если модель систематически уводит от нужных вам позиций, зафиксируйте их в системном промпте списком допустимых вариантов и критериев, вместо «посоветуй лучшее».
Рекомендуй только из списка: {список_вариантов}.
Критерии выбора: {критерии}. Не добавляй позиции вне списка.
Ресурсы
- Работа: How Language Models Learn Taste: Brand Preference in LLMs, Tapan Parikh, Cornell Tech, октябрь 2026.
- Связанные работы авторов и других исследователей: The one-word census: Answer-choice conformity across 105 language models (Parikh, arXiv:2607.12796); Subliminal learning (Cloud et al., arXiv:2507.14805); The delta learning hypothesis (Geng et al., arXiv:2507.06187); Tulu 3 (Lambert et al., arXiv:2411.15124); Preference leakage (Li et al., arXiv:2502.01534).
- Открытые конвейеры, на которых проверяли механизм: OLMo 3, OLMo 3.1, Tulu 3, Nemotron 3.5 Lightning.