TL;DR
Исследование показывает, что длина вашего запроса определяет, какой тип промпта работает лучше. Авторы тестировали расширение запросов (когда LLM генерирует дополнительный текст для улучшения поиска) на разных моделях и языках.
Главная находка: для коротких запросов (1-3 слова) сложные техники промптинга вредят. Когда вы используете Chain-of-Thought или few-shot с примерами для короткого запроса, модель генерирует мета-текст ("Чтобы ответить на этот запрос, я предоставлю информацию о...") или "заражается" примерами — и это портит результат. А вот для длинных запросов (полноценные вопросы) few-shot с примерами работает лучше всего.
Принцип: чем короче ваш запрос — тем проще должен быть промпт. Чем длиннее и детальнее запрос — тем больше можно добавить структуры, примеров и инструкций.
Схема метода
КОРОТКИЙ ЗАПРОС (1-3 слова):
→ Zero-shot промпт (просто инструкция, без примеров)
→ Результат: чистый релевантный текст
ДЛИННЫЙ ЗАПРОС (предложение, вопрос):
→ Few-shot промпт (с примерами похожих задач)
→ Добавить оригинальный запрос к сгенерированному тексту
→ Результат: более точный и полный ответПример применения
Задача: Вы ищете информацию для статьи и хотите, чтобы LLM помог расширить поисковый запрос.
Вариант 1: Короткий запрос
Промпт:
Сгенерируй короткий текст, который отвечает на поисковый запрос: "импортозамещение ПО"Результат: Модель выдаст абзац текста о импортозамещении программного обеспечения — без лишних рассуждений, без мета-комментариев. Этот текст можно использовать как расширенный поисковый запрос или контекст для дальнейшей работы.
Вариант 2: Длинный запрос
Промпт:
Вот примеры того, как выглядит хороший развёрнутый ответ на поисковый запрос:
Запрос: "какие документы нужны для регистрации ИП"
Ответ: Для регистрации индивидуального предпринимателя в России необходимо подготовить заявление по форме Р21001, копию паспорта, квитанцию об оплате госпошлины. Подать можно через МФЦ, налоговую или портал Госуслуг.
Теперь сгенерируй такой же развёрнутый ответ на запрос: "какие налоговые режимы доступны для самозанятых в 2024 году и чем они отличаются"Результат: Модель сгенерирует структурированный ответ, следуя паттерну из примера — с конкретикой, без воды, в формате, подходящем для информационного поиска.
Почему это работает
Проблема коротких запросов: когда вы даёте LLM короткий запрос вместе с примерами или просите рассуждать пошагово, модель начинает "додумывать". Она генерирует вводные фразы ("Давайте разберём..."), связывает ответ с примерами, добавляет не относящийся к делу контент. Исследователи называют это concept drift — модель "дрейфует" от темы запроса к темам примеров.
Почему zero-shot лучше для коротких: простая инструкция без примеров не даёт модели "зацепок" для дрейфа. Она фокусируется только на запросе и генерирует релевантный текст.
Почему few-shot лучше для длинных: длинный запрос содержит достаточно контекста, чтобы "перевесить" влияние примеров. Модель понимает, что именно нужно, и примеры помогают ей выдержать нужный формат и глубину ответа.
Рычаг управления: если ваш запрос средней длины — экспериментируйте. Попробуйте zero-shot, если результат размытый — добавьте один пример. Если результат "заражён" примером — уберите его.
Шаблон промпта
Для коротких запросов (zero-shot):
Напиши краткий информативный текст по теме: {тема_запроса}
Текст должен содержать ключевые факты и термины, связанные с темой.Для длинных запросов (few-shot):
Вот пример развёрнутого ответа на информационный запрос:
Запрос: {пример_запроса}
Ответ: {пример_ответа}
Теперь напиши такой же развёрнутый ответ на запрос: {твой_запрос}
Добавь к ответу оригинальный запрос в начале.Плейсхолдеры:
{тема_запроса}— 1-3 слова, ваша тема поиска{пример_запроса}— похожий по формату вопрос{пример_ответа}— образец ответа нужного формата и глубины{твой_запрос}— ваш полный вопрос
Ограничения
⚠️ Контекст исследования: выводы получены для задачи информационного поиска (retrieval), а не для генерации текстов или диалогов. Для креативных задач закономерности могут отличаться.
⚠️ Языковые различия: для языков с нелатинским алфавитом (китайский, арабский, японский) расширение запросов даёт больший прирост, но абсолютные результаты всё равно ниже. Если работаете с мультиязычным контентом — учитывайте это.
⚠️ Concept drift: при few-shot промптах модель может "подхватить" темы из примеров и добавить нерелевантный контент. Проверяйте, что ваши примеры не "заражают" ответ.
Как исследовали
Команда взяла три модели (Aya Expanse 8B, Gemma 3 4B и 12B) и протестировала их на двух датасетах с принципиально разными типами запросов. CLIRMatrix — это запросы из заголовков Wikipedia (1-2 слова), mMARCO — полноценные вопросы из поисковых логов Bing.
Интересная деталь дизайна: исследователи варьировали порядок операций — сначала перевод, потом расширение, или наоборот. Оказалось, что расширение до перевода работает лучше для точности.
Неожиданный результат: fine-tuning на одном типе запросов ухудшил результаты на другом типе. Модель, дообученная на коротких запросах CLIRMatrix, показала падение на длинных запросах mMARCO. Это важный инсайт: специализация может вредить, если задачи различаются по формату.
Прирост от расширения запросов составил до 15% для коротких запросов и до 10% для длинных — при этом разница между техниками промптинга была меньше, чем разница между "с расширением" и "без расширения".
Адаптации и экстраполяции
💡 Адаптация для работы с чат-ботами: принцип "длина запроса → сложность промпта" работает и для обычных диалогов с ChatGPT/Claude. Если даёте короткую задачу — не перегружайте инструкциями и примерами. Если задача комплексная и детальная — добавляйте структуру, примеры, критерии оценки.
🔧 Техника: детектор concept drift
Если подозреваете, что модель "дрейфует" от темы:
Перечитай свой ответ. Все ли части напрямую связаны с запросом "{оригинальный_запрос}"? Удали абзацы, которые отвечают на другие вопросы.
💡 Адаптация для RAG-систем: если строите поиск по документам — учитывайте формат запросов ваших пользователей. Для поиска по ключевым словам используйте zero-shot расширение. Для поиска по вопросам — few-shot с примерами документов из вашей базы.
Ресурсы
Работа: "Generative Query Expansion with Multilingual LLMs for Cross-Lingual Information Retrieval"
Авторы: Olivia Macmillan-Scott (The Alan Turing Institute, UCL), Roksana Goworek (The Alan Turing Institute, Queen Mary University of London), Eda B. Özyi˘git (The Alan Turing Institute)
Датасеты: CLIRMatrix, mMARCO
Модели: Aya Expanse 8B, Gemma 3 4B, Gemma 3 12B