CardRewriter: Карточки знаний для переписывания запросов

ШАГ 1 [Knowledge Collection]: Собрать информацию
 → Топ-k видео по оригинальному запросу (заголовки, OCR, авторы, BGM, кадры)
 → Топ-k видео по похожим high-quality запросам (rule-based + embedding matching)
 → Внешние документы из open-domain API
 → Дедупликация → Multi-source knowledge M

ШАГ 2 [Card Generation]: Создать карточку знаний
 → LLM суммаризирует M в карточку (1-2 абзаца, <200 символов)
 → Карточка = краткое описание намерения пользователя

ШАГ 3 [Card-based Rewriting]: Переписать запрос
 → LLM получает: оригинальный запрос + карточка знаний
 → Выдаёт: переписанный запрос

Все три шага в отдельных промптах.

⚠️ Метод создан для e-commerce/video search с доступом к поисковой системе. Для обычного пользователя чатов — адаптируем принцип на доступные данные.

Задача: Ты консультант. Клиент спрашивает про "ту компанию с синим логотипом что делает чат-боты". У тебя 5 описаний разных компаний из поиска — часть про Microsoft, часть про Anthropic, часть про стартапы. Напрямую скормить все 5 описаний → LLM запутается в противоречиях.

Промпт Шаг 1 — Создай карточку:

У меня есть вопрос клиента: "та компания с синим логотипом что делает чат-боты"

Вот 5 описаний компаний из поиска:
1. Microsoft — голубой логотип, разработчик Copilot и интеграции с OpenAI
2. Anthropic — логотип с оранжевым кругом, создатели Claude
3. Startbot Inc — синий логотип, B2B чат-боты для e-commerce
4. ChatCorp — зелёный логотип, AI-ассистенты для банков
5. BotFactory — синий логотип, конструктор чат-ботов без кода

Создай карточку знаний (до 200 слов):
- Какие компании подходят под "синий логотип + чат-боты"
- Разреши противоречия (несколько кандидатов)
- Укажи ключевые отличия

Формат карточки:
{
 "relevant_companies": [...],
 "disambiguation": "...",
 "key_facts": "..."
}

Промпт Шаг 2 — Используй карточку для ответа:

Вопрос клиента: "та компания с синим логотипом что делает чат-боты"

Карточка знаний:
{вывод из шага 1}

Используя карточку:
1. Уточни у клиента о какой компании речь (если неоднозначно)
2. Или дай ответ если карточка однозначно указывает на компанию

Результат:

Шаг 1 создаст структурированную карточку с двумя кандидатами (Microsoft и Startbot Inc), разрешит противоречия (Anthropic не подходит по логотипу). Шаг 2 использует карточку для уточняющего вопроса или прямого ответа. Без промежуточной карточки LLM часто выдаёт мешанину фактов из всех 5 описаний.

Слабость LLM: Модель плохо фильтрует шум при большом объёме противоречивых данных. Если скормить 10 документов с разной информацией — часть фактов перепутаются, появятся галлюцинации, теряется фокус на оригинальном запросе.

Сильная сторона LLM: Модель отлично суммаризирует и структурирует информацию когда задача явная. Если попросить "выдели главное релевантное для вопроса X" — LLM справляется лучше чем с прямым "ответь на X используя все данные".

Как метод использует это: CardRewriter разделяет задачу на два этапа с разными когнитивными нагрузками. (1) Compression: суммаризация шумных данных в фокусированную карточку — LLM работает как фильтр и структуризатор. (2) Generation: использование чистого контекста (карточки) для основной задачи — LLM работает с минимальным шумом. Промежуточная карточка снимает когнитивную перегрузку — модель не пытается одновременно фильтровать и генерировать.

Рычаги управления:

• Длина карточки (<200 символов в оригинале): Уменьши для простых задач → быстрее и дешевле. Увеличь для сложных → больше контекста.
• Формат карточки: JSON для структурированных данных, prose для описательных. Можно задать явную структуру: "Карточка должна содержать: 1) disambiguation, 2) key facts, 3) contradictions resolved"
• Количество источников: Оригинал собирает топ-k видео + похожие запросы + external docs. В чате: сколько документов скормить на Шаг 1? 3-5 для простых задач, 10+ для complex research.
• Итеративность: Можно добавить третий шаг — если карточка неоднозначна, собери дополнительные источники и пересоздай карточку.

У меня есть {задача/вопрос}: "{текст_задачи}"

Доступная информация из {количество} источников:
{источник_1}
{источник_2}
...
{источник_N}

Создай карточку знаний (до {лимит_слов} слов):
- Выдели факты релевантные для задачи
- Разреши противоречия между источниками
- Укажи что однозначно, а что требует уточнения
- Игнорируй нерелевантную информацию

Формат карточки: {опционально: JSON / prose / структурированный список}

Что подставить:

• {задача/вопрос} — твоя основная задача
• {источник_N} — каждый документ/текст/контекст
• {лимит_слов} — 100-300 слов в зависимости от сложности
• Формат карточки можно задать явно или оставить на усмотрение модели

{задача/вопрос}: "{текст_задачи}"

Карточка знаний:
{вывод_из_шага_1}

Используя карточку как контекст, {что_нужно_сделать}.
{дополнительные_инструкции}

Что подставить:

• {вывод_из_шага_1} — скопируй карточку из предыдущего ответа
• {что_нужно_сделать} — основная задача (ответь на вопрос, перепиши текст, создай план и т.д.)
• {дополнительные_инструкции} — специфичные требования к выводу

🚀 Быстрый старт — вставь в чат:

Вот шаблон CardRewriter для работы с множественными источниками информации. 
Адаптируй под мою задачу: [опиши свою задачу]. 
Задавай вопросы чтобы заполнить поля.

[вставить Шаг 1 и Шаг 2 выше]

LLM спросит: (1) какая у тебя задача, (2) какие источники доступны, (3) в каком формате нужна карточка, (4) что делать с карточкой на втором шаге. Она возьмёт двухшаговый паттерн из шаблона и адаптирует под твою ситуацию — ты получишь промпты готовые к использованию.

⚠️ Требует доступ к данным: Оригинальный CardRewriter работает с поисковой системой платформы (топ-k видео, метаданные, похожие запросы). В обычном чате у тебя нет автоматического доступа к такой инфре — нужно вручную собрать источники или использовать web search.

⚠️ Два запроса вместо одного: Метод делает два промпта (создание карточки + использование карточки) вместо одного прямого. Если задача простая или источников мало (1-2) — овчинка выделки не стоит, прямой промпт эффективнее.

⚠️ Качество зависит от источников: Если все источники нерелевантные или противоречивые — карточка не спасёт. Garbage in → garbage out, даже с промежуточной суммаризацией.

⚠️ Не для креатива: Метод создан для фактических задач (поиск, Q&A, переписывание запросов). Для creative writing или brainstorming принцип карточек менее полезен.

Команда взяла реальные данные с платформы Kuaishou (китайский аналог TikTok): 200k запросов для обучения генерации карточек, 400k запросов для обучения query rewriting, 150k запросов для reward model. Для каждого запроса собрали топ-50/300 видео из поисковой системы, извлекли мультимодальный контент (заголовки, OCR с обложек, имена авторов, BGM, три ключевых кадра), добавили похожие запросы из логов и внешние документы.

Сравнивали три baseline: (1) Prompt-based — прямое переписывание через промпт, (2) Naive RAG — скормить все сырые данные напрямую, (3) Card RAG (CardRewriter) — создать карточку, потом переписать. Обучали модели через SFT + GRPO с кастомной наградой (баланс relevance + retrieval effectiveness). Тестили на 15k запросов.

Главный инсайт: Naive RAG ухудшает semantic relevance между оригиналом и rewrite (QR-Rel падает с 78% до 69-74% в зависимости от метода) — шум и противоречия в сырых данных сбивают модель с толку. Card RAG наоборот улучшает QR-Rel до 84-86%, потому что промежуточная суммаризация убирает шум и фокусирует модель.

Удивительное: Naive RAG увеличивает Increment (больше новых видео в выдаче) но не улучшает Hitrate (мало ground-truth видео среди новых) — модель просто галлюцинирует и добавляет случайный контент. Card RAG улучшает и Increment, и Hitrate одновременно — новые видео действительно релевантны.

Для практики: Если у тебя есть 5-10 документов и нужен точный ответ — не скармливай всё сразу. Двухшаговый workflow (summarize → use) даёт +10-20% к качеству при тех же токенах. Особенно критично когда источники противоречивые или шумные.

Контекст: Исследователи использовали два промпта — один для генерации карточки, второй для query rewriting. Промпты на английском с примерами на китайском (оригинальная платформа — Kuaishou в Китае). Ниже — промпт для Card Generation, переведённый с китайского:

Role:
You are a short video search expert. Your task is to analyze the [original query], 
combine it with retrieved video information and general information, and generate 
a [demand description analysis] within 200 characters. This helps the platform 
better understand user intent, so it can rewrite an improved query.

Task Requirements:
1. Video information includes: title, cover OCR text, author name, background music name, key frames. 
 General information refers to open-domain data related to the query.

2. Use this information to determine video relevance to the [original query]. 
 User queries may contain ambiguous expressions — clarify the true referent 
 (specific streamer, short drama title, game name) in the [demand description analysis].

3. The [demand description analysis] must be concise and effective. 
 Do not include irrelevant content. 
 Do not include phrases like "based on video information" or "according to search results". 
 Do not give instructions on how to rewrite — only provide an analysis of user intent.

4. Output in JSON format. The "desc" field represents your analysis. 
 Final output must contain only one JSON result, no extra characters.

Input:
-- Original Query: {query}
-- Short Video Information:

... (repeat for other videos)
-- General Information: {external_docs}

Промпт для Card-based Rewriting:

Role:
You are an expert in optimizing user search queries for short video platforms. 
Your task is to rewrite the [original query] into a query that is more easily understood 
by search engines. You are provided with the [original query] and [demand analysis] 
from search experts. Use this analysis to understand and rewrite the query.

Task Requirements:
====Query Analysis Requirements====
1. Short video queries have these characteristics: 
 - Strong domain knowledge
 - Colloquial and concise descriptions
 - Vague or broad intent
 - High number of typos
 
2. Consider core intent, key entities, and attribute constraints. 
 Refer to [Demand Analysis] to correctly understand the [Original Query].

====Query Rewriting Requirements====
1. Rewrite from a video search expert perspective. 
 User's core intent and original needs must not change.
 Avoid changing the scope of original needs — don't remove key attributes 
 or add irrelevant restrictions.

2. The rewritten query should differ from the original — change wording and description 
 to increase retrieved videos and prevent duplication.

3. Keep rewritten query concise. Replace complex descriptions with synonyms. 
 Shorten long queries when possible, don't lengthen short queries. 
 Avoid meaningless suffixes like "xxx video" or "xxx related videos".

4. For long queries, use keywords in parallel rather than long declarative sentences.

5. Domain terms unclear after [Demand Analysis] should be output as is. 
 Don't guess their meaning. If query contains usernames, short drama titles, 
 or proper nouns, don't modify them.

====Output Requirements====
1. Output in JSON format. The "RewriteQuery" field represents [Rewritten Query].
2. Do not output any irrelevant symbols or descriptions besides the JSON.

Task Start:
Original Search Query: {{Query}}
Original Search Query Requirements Analysis: {{Card}}

Важные детали:

• Оригинал работает с мультимодальным контентом (текст + изображения с видео)
• Ограничение на длину карточки — 200 символов китайского текста (~100-150 английских слов)
• JSON-формат вывода для лёгкого парсинга
• Явные инструкции "не добавляй мета-комментарии" и "не меняй intent"

💡 Адаптация для research задач:

Используй принцип карточек для работы с множественными источниками в исследовании. Вместо "прочитай 10 статей и напиши обзор" → делай в два шага.

Промпт Шаг 1 — Research Card:

У меня есть исследовательский вопрос: "{вопрос}"

Вот 10 источников:
{список статей/документов}

Создай research card:
- Консенсусные выводы (что все источники согласны)
- Противоречивые мнения (где источники расходятся)
- Пробелы в знаниях (что не покрыто)
- Топ-3 релевантных факта для моего вопроса

Формат: JSON с полями "consensus", "conflicts", "gaps", "key_facts"

Промпт Шаг 2 — Use Research Card:

Вопрос: "{вопрос}"

Research Card:
{вывод из шага 1}

Используя карточку, напиши краткий обзор (500 слов) отвечающий на вопрос.
Укажи где есть консенсус, где дискуссия, какие пробелы.

Этот подход лучше прямого "summarize 10 papers" потому что промежуточная карточка структурирует противоречия и пробелы явно.

🔧 Техника: Multi-iteration cards → постепенное уточнение контекста

Если информации много или она очень противоречивая — не пытайся создать финальную карточку сразу. Делай итеративно:

Итерация 1 — Создай черновую карточку из первых 3-5 источников:

Источники 1-5: {тексты}

Создай черновую карточку: основные темы, первичные выводы, явные противоречия.
Укажи какие вопросы остались без ответа.

Итерация 2 — Дополни карточку следующими 3-5 источниками:

Черновая карточка из итерации 1:
{вывод итерации 1}

Новые источники 6-10: {тексты}

Обнови карточку:
- Подтверди или опровергни выводы из черновика
- Разреши противоречия если новые источники дают ответ
- Добавь новые факты релевантные для задачи

Итерация 3 — Финализируй:

Обновлённая карточка:
{вывод итерации 2}

Создай финальную версию карточки (макс 200 слов):
- Только validated факты
- Разрешённые противоречия
- Ключевые инсайты

Этот метод полезен когда источников 10+, или когда нужна высокая точность — каждая итерация снижает шум и повышает confidence.

CardRewriter: Leveraging Knowledge Cards for Long-Tail Query Rewriting on Short-Video Platforms — Peiyuan Gong, Feiran Zhu, Yaqi Yin, Chenglei Dai, Chao Zhang, Kai Zheng, Wentian Bao, Jiaxin Mao, Yi Zhang (Renmin University of China, Kuaishou Technology, 2025).

Метод развёрнут в продакшене на Kuaishou (китайская платформа коротких видео, конкурент TikTok) с сентября 2025, обслуживает сотни миллионов пользователей ежедневно.