CARTBench & Principle-Guided CART Prompting: консультирование и оценка ИИ-ассистентов в сложных запросах с меняющимися условиями и таймлайном

ШАГ 1 (Консультант — Principle-Guided CART Prompting): История диалога с таймкодами (h) + Текущий запрос (q) + Время сообщения (t) + Карточки товаров (E) + 4 принципа идеального ответа → Структурированный ответ (разделение на «купить сейчас» и «отложить», условные развилки без выдумывания свойств)
ШАГ 2 (Судья — Evidence-Grounded Rubric Judging): Входные данные (x) + Ответ модели (y) + Скрытая 3-уровневая рубрика (Core / Excellence / Safety) → Вердикт по каждому критерию (Pass / Fail / Unresolved / N/A) с дословной цитатой и диагностикой сбоев F1–F10

Генерация консультации и её проверка судьёй выполняются отдельными запросами: модель-консультант видит общие принципы, но не видит проверочную рубрику конкретного кейса.

Задача: Покупатель консультируется с ИИ-ассистентом интернет-магазина снаряжения (например, «Спортмастер» или Ozon) перед зимней поездкой. В переписке с датами часть планов уже устарела, условия жёсткие, а один критичный параметр покупатель пока не знает. Нужно дать честную, безопасную и практически полезную рекомендацию по карточкам товаров, не додумывая того, чего нет в характеристиках.

Промпт:

Ты — экспертный ИИ-консультант по подбору товаров. Твоя задача — помочь клиенту принять обоснованное решение о покупке на основе истории диалога с метками времени и карточек товаров.



Руководствуйся четырьмя принципами идеального ответа (CART Principles):
1. Отвечай строго на ТЕКУЩЕЕ решение о покупке (сверяй таймкоды сообщений: отсекай потребности, чей дедлайн уже прошёл или которые клиент отменил).
2. Следуй активным ограничениям и СОХРАНЯЙ НЕИЗВЕСТНЫЕ открытыми (не угадывай неподтверждённые факты; раздели покупки на то, что можно брать сейчас, и то, что нужно отложить до проверки).
3. Опирайся только на факты из карточек товаров и объясняй компромиссы (запрещено приписывать товару свойства, которых нет в описании, или обещать гарантированный результат в экстремальных условиях без тестов).
4. Давай прикладную помощь для выбора: строй условные развилки («если сценарий использования А — выбирай товар 1, если сценарий Б — товар 2») и подскажи, как именно клиенту проверить неизвестный параметр.



- [10 ноября 2026, 14:00] Клиент: «Привет! Мне срочно на завтра, 11 ноября, нужен подарок другу-сноубордисту до 5 000 руб., и ещё начинаю собирать себя в зимний фототур на Чукотку в декабре».
- [14 ноября 2026, 19:10] Клиент: «Так, возвращаюсь к сборам на Чукотку. Буду снимать северное сияние стоя на месте по 2 часа при -30°C. Нужно нажимать мелкие кнопки камеры. Тонкие флисовые перчатки-лайнеры у меня уже есть. Верхний слой должен греть сам по себе, нельзя полагаться только на аккумуляторный подогрев. Помоги выбрать верхний слой из двух вариантов в корзине. Какой у меня хват объектива и нужно ли крутить тугие кольца зума — пока не знаю, объектив придёт в прокат через неделю».


14 ноября 2026, 19:12


Товар 1: Рукавицы-верхонки ArcticStorm GORE-TEX Mitts
- Описание: Модульная система утепления для альпинизма и влажного холода, мембрана GORE-TEX, без электроподогрева. Цена: 14 900 руб.

Товар 2: Перчатки с подогревом PolarHeat GORE-TEX Glove
- Описание: Пятипалые перчатки, аккумуляторный подогрев ALTIHeat, утеплитель EnduraLoft, мембрана GORE-TEX, совместимость с сенсорным экраном. (Время работы батареи и температурный предел при выключенном подогреве в карточке НЕ указаны). Цена: 22 500 руб.



Сформируй ответ клиенту, соблюдая уровни:
- Core (База): игнорируй просроченный запрос про подарок на 11 ноября; учти наличие тонкого лайнера и запрет полагаться только на батарею; не выдумывай время работы аккумулятора на морозе.
- Excellence (Мастерство): объясни развилку выбора в зависимости от того, как часто придётся крутить настройки камеры на морозе (редкое нажатие спуска vs постоянная работа с дисками и меню), и подскажи, как протестировать хват с флисовым лайнером при получении объектива.
- Safety (Безопасность): прямо предупреди, что карточка товара не гарантирует 2 часа тепла в статике при -30°C без проверки.

Результат: Модель не станет предлагать подарок другу (так как 11 ноября уже прошло), учтёт имеющиеся флисовые лайнеры и разведёт два товара по сценариям: рекомендует рукавицы ArcticStorm как основной тёплый безаккумуляторный вариант для редкого нажатия кнопки спуска, а перчатки PolarHeat назовёт компромиссом ради мелкой моторики пальцев, честно предупредив, что в описании нет гарантии двухчасовой защиты при -30°C с севшей батареей, и предложит отложить финальный выбор до примерки прокатного объектива.

В сложных консультациях у языковых моделей срабатывает рефлекс угодливого продавца и схлопывание неопределённости (Uncertainty Collapse). Видя карточку товара и запрос клиента, модель стремится любой ценой «закрыть сделку» прямо сейчас: если в описании товара нет данных о работе при минус тридцати или о конвертации напряжения, модель додумывает их от себя (Product Evidence Overreach — почти треть всех ошибок) либо превращает обычную строчку «утеплитель EnduraLoft» в стопроцентную гарантию под экстремальный запрос покупателя (Product Fit Leap — более пятой части ошибок). А если в начале длинного треда клиент просил подарок на вчерашнюю дату, модель по инерции продолжает советовать подарок (Context-State Drift).

При этом современные LLM отлично умеют строить условную логику («если — то») и сопоставлять тексты по чек-листу, когда от них не требуют дать один однозначный ответ при неполных вводных. Как только мы явно разрешаем модели оставлять неизвестные открытыми и делить покупки на «готовые к заказу» и «отложенные до выяснения», у неё пропадает стимул галлюцинировать.

Метод переводит работу ассистента из режима «угадай лучший товар» в режим структурированной поддержки решения. Четыре принципа (Ideal Response Principles) задают рамку рассуждения, а разделение проверок на Core (не соврать и не перепутать контекст), Excellence (дать развилку выбора и инструкцию по проверке неизвестного) и Safety (предупредить о рисках для здоровья, техники или бюджета) устраняет разрыв между формально правильным, но бесполезным ответом и реальной экспертной помощью.

Рычаги управления методом: - Привязка к меткам времени (CurrentTime vs DialogueHistory) → всегда передавай текущее время рядом с историей сообщений и требуй явно списывать в архив просроченные дедлайны. - Запрет на «прыжок пригодности» (No Fit Leap) → добавь в системный промпт жёсткое правило: «Наличие характеристики в карточке не означает, что она выдержит экстремальное условие клиента; если точный числовой порог в карточке не указан — назови это непроверенным риском». - Разделение корзины на два списка → при наличии хотя бы одного неизвестного параметра требуй от бота делить рекомендацию на блок Покупать сейчас (база) и блок Отложить до проверки условия X.

Ты — экспертный ИИ-ассистент по подбору решений и товаров в диалогах со сложными, меняющимися и неполными вводными (CART Advisor).



- Текущая дата и время: {текущее_время}
- История диалога с таймкодами и текущий запрос: {история_диалога_и_запрос}
- Доступные карточки товаров / услуг (только проверенные данные): {карточки_товаров}



Строй ответ строго по 4 принципам:
1. Актуальность по таймлайну (Timeline Validity): сверь даты сообщений с {текущее_время}. Игнорируй или помечай как неактуальные прошлые запросы, чей срок уже истёк или которые клиент заменил новой задачей (избегай ошибки F1 Context-State Drift).
2. Сохранение неопределённости (Preserve Unknowns): не считай неизвестные параметры, размеры, планы или предпочтения решёнными (избегай F2 Premature Need Resolution). Раздели рекомендации на «Готово к покупке сейчас» и «Отложить до уточнения».
3. Доказательность без додумывания (Evidence Grounding): опирайся только на то, что прямо написано в {карточки_товаров}. Запрещено приписывать товарам неподтверждённые свойства (F7 Unsupported Claims) или превращать общие характеристики в безусловную гарантию под специфический сценарий клиента (F8 Unjustified Suitability Inference).
4. Прикладная помощь в выборе (Excellence & Safety):
   - Опиши конкретную развилку: как именно изменится выбор между вариантами в зависимости от сценария клиента («Если у вас условие А → берите вариант 1, если условие Б → вариант 2»).
   - Подскажи клиенту простое действие, как самому проверить недостающий параметр (например, что именно прочитать на шильдике/в документах).
   - Предупреди о рисках несовместимости, безопасности или потери денег.



1. **Актуальная задача и отсечённые условия**: какие требования действуют сейчас, какие устарели, а что остаётся неизвестным.
2. **Что можно брать сразу vs Что отложить**: разделение покупок.
3. **Сравнение вариантов и развилка решения**: разбор товаров строго по фактам из карточек с условиями выбора («если... то...»).
4. **Как проверить неизвестное и техника безопасности**: короткая инструкция по проверке перед оплатой.

Что подставлять в плейсхолдеры: - {текущее_время} — дата и время текущего сообщения пользователя. - {история_диалога_и_запрос} — переписка клиента с ботом или менеджером с указанием времени каждой реплики. - {карточки_товаров} — выгруженные из каталога описания, характеристики и цены товаров (без сокращения пустых полей).

🚀 Быстрый старт — вставь в чат:

Вот шаблон Principle-Guided CART Prompting для сложных консультаций и подбора товаров. Адаптируй под мою задачу: [опиши свой магазин, сервис или задачу консультирования клиентов]. 
Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит, какие товары или услуги вы рекомендуете, какие параметры клиенты чаще всего забывают указать в первом сообщении и какие ошибки бота обходятся дороже всего (возвраты, несовместимость, безопасность) — чтобы зашить эти проверки прямо в инструкции.

⚠️ Разрыв между пониманием правил и мастерством исполнения (Understanding-to-Execution Gap): Даже когда моделям прямо в промпте дают все четыре принципа идеального ответа, лучшие флагманские нейросети выбивают более 90% по базовым требованиям (Core), но ни одна модель не набирает больше 40% по критериям продвинутой помощи (Excellence). Одного лишь добавления общих принципов в промпт мало — для сложных связок ограничений нужно явно требовать от модели формат развилок и проверки неизвестных.

⚠️ Всплеск галлюцинаций при смене требований в диалоге: Когда клиент по ходу беседы меняет условия или добавляет связанные ограничения, модели начинают выдумывать несуществующие характеристики товаров почти в каждом третьем ответе, а при смене темы диалога в четверти случаев путают старые и новые состояния клиента.

Команда исследователей из Xiaohongshu (RED), Чжэцзянского университета, Университета Цинхуа и Шанхайского университета Цзяотун собрала бенчмарк CARTBench на основе реальных коммерческих диалогов. Из живых переписок эксперты отобрали 169 сложных кейсов в 17 категориях ритейла (одежда, туризм, обустройство дома, уход, подарки и др.), привязали к ним 1 603 реальные карточки товаров и вывели из лучших образцовых ответов четыре принципа (Ideal Response Principles), на базе которых вручную составили 1 328 проверочных критериев, разделённых на три уровня: Core (обязательный минимум), Excellence (помощь в принятии решения сверх базы) и Safety (риски и безопасность). Оценку проводил ИИ-судья на базе DeepSeek-V4-Pro по протоколу с обязательным цитированием доказательств, после чего вердикты вслепую перепроверял человек-эксперт — совпадение суждений составило 99,69% (13 239 из 13 280 меток), при этом полный прогон всех 169 кейсов обходился дешевле $24 за модель.

На этом стенде протестировали 10 моделей: 7 коммерческих флагманов (GPT-6.1-Sol, Claude-Opus-5, Qwen3.8-Max, DeepSeek-V4-Pro, Kimi-K3, MiMo-V2.6-Pro, MiniMax-M3) и 3 открытые модели линейки Qwen3.5 (от 35B до 397B). Результаты вскрыли разительный контраст: на базовом уровне Core три модели пробили планку в 90% (лидеры — GPT-6.1-Sol с 95,9% и 100% по безопасности, и Qwen3.8-Max с 95,4%), однако на уровне Excellence ни одна модель не преодолела рубеж в 45% (лучший результат у Claude-Opus-5 — 39,8%, у Qwen3.8-Max и Kimi-K3 — по 37,2%, у GPT-6.1-Sol — 29,6%). Диагностика ошибок показала, почему так происходит: более половины всех сбоев дают выдуманные свойства товара (F7 — 30,8%) и необоснованные гарантии пригодности (F8 — 22,1%), причём при обновлении требований клиентом доля выдумок F7 подскакивает до 29,2% ответов, а при переключении задачи в рамках одного чата в 24,5% случаев модели теряют нить контекста и времени (F1 Context-state drift).

Ideal Response Principles (Summary):
1. Address the current purchase decision.
2. Follow active needs; preserve unknowns.
3. Ground claims and explain trade-offs.
4. Give clear and useful decision help.

Core Failure Modes Taxonomy (F1–F10):
- F1: Context-state drift (4.4% overall; 24.5% in task-switch, 17.1% in task-continuity) — misuses a stated actor, requirement, or temporal state.
- F2: Premature need resolution / Shopping Uncertainty Collapse (6.3%) — treats unknown preferences, possessions, purchase needs, or scenario conditions as settled.
- F3: Constraint or priority violation (3.3%)
- F4: Missing decision pathway (2.1%)
- F5: Missing decisive checks (11.8%)
- F6: Evidence identity mismatch (10.0%)
- F7: Unsupported product claims / Product Evidence Overreach (30.8% overall; 29.2% on requirement update) — adds intrinsic product claims unsupported by supplied evidence.
- F8: Unjustified suitability inference / Product Fit Leap (22.1% overall; 15.0% on decisive unknown) — turns stated attributes into unjustified user-specific suitability guarantees.
- F9: Quantity or composition error (3.5%)
- F10: Ungrounded transaction facts (5.5%)

Контекст: Сводка четырёх принципов и полная таксономия 10 типов ошибок ИИ-консультантов из разделов 3.2 и 4.2 работы. Эти коды ошибок (F1–F10) можно напрямую вставлять в промпт LLM-судьи для автоматического аудита логов вашего продающего бота.

💡 Адаптация для LLM-as-a-Judge (аудит диалогов отдела продаж и саппорта): Используй трёхуровневую схему Core / Excellence / Safety и коды ошибок F1–F10 для проверки логов корпоративного чат-бота в e-commerce, недвижимости или медицине. Вместо общей оценки «ответил хорошо/плохо» заставь судью проверять четыре статуса (Pass / Fail / Unresolved / Not-Applicable) с обязательной дословной цитатой из карточки товара и реплики клиента.

🔧 Техника: Принудительный блок [Аудит пустот карточки] перед ответом → защита от ошибок F7 и F8 (52,9% всех провалов)

Так как модели склонны превращать молчание карточки товара в согласие, заставь бота перед генерацией рекомендации явно выписать, чего в карточке НЕТ:

Copy

Перед рекомендацией заполни скрытый блок : выпиши, какие критичные для сценария клиента параметры НЕ указаны в тексте карточки товара. В ответе клиенту прямо назови эти параметры непроверенными и запрети себе использовать слова «гарантированно подойдёт», «точно выдержит».

[CARTBench: Rubric-Based Evaluation of Shopping Advice for Complex and Ambiguous Requests with Timelines] [Код и данные: https://github.com/Da1yuqin/CARTBench] [Yuqin Dai, Zhanwei Zhang, Honghui Yang, Zhouheng Yao, Yueqi Zhang, Jingyu He, Chaoyang Shi, Fanding Wei, Boyuan Pan, Kai Xu, Yao Hu, Yongliang Shen — Zhejiang University, Xiaohongshu Inc., Tsinghua University, Shanghai Jiao Tong University]