QE-RAG - надежный бенчмарк для генерации с увеличением извлечения для ошибок ввода запросов.

Исследование показывает, что обычные опечатки в запросах (например, "Джесика Джонс" вместо "Джессика Джонс") резко снижают качество ответов систем с поиском (RAG), так как модель ищет информацию по неверному запросу. Авторы предлагают два метода решения: обучить поисковый модуль быть устойчивым к ошибкам и, что более важно, использовать саму LLM для исправления запроса перед поиском, что значительно повышает точность и надежность ответов.

Ключевой результат: Исправление опечаток в запросе до того, как модель начнет искать по нему информацию, является критически важным шагом для получения точного ответа.

Суть исследования очень проста и элегантна. Представьте, что вы просите ассистента в библиотеке найти книгу про "режисера филмьа 'Начало'". Если ассистент будет буквально искать карточки со словом "филмь", он ничего не найдет. Умный ассистент сначала поймет, что вы имели в виду "фильм", исправит вашу ошибку в уме, и только потом пойдет искать по правильному слову.

Современные RAG-системы (как в ChatGPT 4 с доступом к сети) часто ведут себя как "глупый" ассистент. Опечатка в запросе (например, when is season z of jeseica jones) заставляет поисковый модуль (ретривер) искать документы про "jeseica", а не про "Jessica". В результате LLM получает для анализа абсолютно нерелевантные тексты (в примере из статьи — про телеведущую Star Jones) и генерирует неверный ответ ("информации о таком сериале нет").

Практический метод, который можно извлечь из этого исследования, — это научить LLM быть "умным ассистентом" с помощью промпта. Вместо того чтобы просто задавать вопрос, мы даем модели двухэтапную инструкцию:

1. Сначала исправь мой запрос. Мы просим модель проанализировать наш текст на предмет опечаток и грамматических ошибок, особенно в ключевых словах (имена, названия, термины).
2. Затем выполни исправленный запрос. После того как модель внутренне или явно "очистила" запрос, она должна использовать уже эту правильную версию для поиска информации и генерации ответа.

Этот подход превращает потенциально провальный запрос в успешный, заставляя модель сначала навести порядок во входных данных, а уже потом приступать к основной работе.

*Прямая применимость:Пользователи могут немедленно начать использовать двухшаговую структуру промпта в своих запросах, особенно когда речь идет о сложных темах с именами собственными, техническими терминами или иностранными названиями, где легко допустить ошибку. Достаточно добавить в промпт преамбулу вида: "Прежде чем отвечать, проверь мой запрос на опечатки и исправь их. Используй для ответа исправленную версию".

• Концептуальная ценность: Исследование дает ключевое понимание: точность входных данных имеет первостепенное значение. Оно учит пользователя не переоценивать "интеллект" LLM и относиться к своему запросу как к программному коду: одна маленькая ошибка может сломать всю логику выполнения. Это помогает формировать более четкие, выверенные и надежные промпты.

• Потенциал для адаптации: Метод легко адаптируется для любых задач. Для написания кода — "сначала исправь названия функций и переменных в моем запросе, потом напиши код". Для анализа данных — "сначала исправь названия колонок в моем запросе, затем выполни анализ". Механизм адаптации прост: определить критически важные сущности в запросе и явно указать модели на необходимость их проверки и исправления перед основной работой.

Вот пример промпта для планирования путешествия, где легко ошибиться в названии.

# РОЛЬ

Ты — опытный турагент-эксперт, специализирующийся на составлении уникальных культурных маршрутов по местам съемок знаменитых фильмов.

# ЗАДАЧА

Твоя задача — создать детальный 3-дневный план путешествия по Новой Зеландии, основанный на местах съемок трилогии "Властелин Колец" (Lord of the Rings).

# ИНСТРУКЦИИ ПО ВЫПОЛНЕНИЮ

**Шаг 1: Коррекция Запроса**
Внимательно проанализируй мой запрос в тегах ``. Если ты найдешь там опечатки или неточности в названиях, именах или терминах, сначала исправь их.

**Шаг 2: Выполнение Исправленного Запроса**
Используя **исправленную** версию запроса, выполни следующие действия:
1. Предложи маршрут на 3 дня с посещением 2-3 ключевых локаций.
2. Для каждой локации укажи:
- Реальное географическое название.
- Сцену из фильма, которая там снималась.
- Примерную стоимость посещения (если это платный тур).
- Совет по логистике (как добраться из ближайшего крупного города).
3. Представь результат в виде структурированного плана по дням.

Составь мне тур по новой зеландии по местам сьемок властелина колец. Особенно интересует город хобитов Хобитон и гора Орадруин.

Этот промпт работает благодаря явной декомпозиции задачи, основанной на выводах исследования:

1. Принудительная самокоррекция: Инструкция в "Шаге 1" заставляет модель сначала выполнить низкоуровневую задачу — проверку орфографии. В данном случае, она, скорее всего, исправит "сьемок" на "съемок" и проверит правильность написания "Хобитон" и "Орадруин". Хотя в этом примере ошибки очевидны, в более сложных случаях (например, "вулкан Нгаурухоэ" вместо "Ородруин") этот шаг становится критичным.
2. Работа с "чистыми" данными: "Шаг 2" явно указывает модели использовать для поиска и генерации ответа уже исправленную версию запроса. Это гарантирует, что внутренний RAG-механизм будет искать информацию по правильным ключевым словам ("Mount Ngauruhoe" или "Mount Ruapehu" как реальные прототипы Ородруина), а не по запросу с возможной ошибкой.
3. Снижение когнитивной нагрузки: Разделение на шаги помогает модели сфокусироваться. Сначала — простая задача на коррекцию, затем — сложная творческая задача на планирование. Это повышает общую надежность и точность конечного результата, предотвращая "галлюцинации" из-за неверно понятого запроса.

Пример из сферы кулинарии, где названия блюд или ингредиентов могут быть написаны с ошибкой.

# РОЛЬ

Ты — профессиональный шеф-повар и автор кулинарных книг, который умеет объяснять сложные рецепты простым языком.

# ЗАДАЧА

Написать подробный, пошаговый рецепт блюда, запрошенного пользователем, и составить список покупок.

# ИНСТРУКЦИИ

**Этап 1: Проверка и исправление запроса**
Внимательно изучи название блюда и ингредиентов в ``. Если заметишь опечатки или неверные названия (например, "сыр пармизан"), исправь их для себя, чтобы работать с корректной информацией.

**Этап 2: Генерация рецепта и списка покупок**
На основе **исправленного** названия блюда, выполни следующее:
1. **Список покупок:** Составь четкий список всех необходимых ингредиентов с указанием точного количества на 2 порции.
2. **Пошаговый рецепт:** Напиши инструкцию по приготовлению. Каждый шаг должен быть коротким и понятным. Укажи примерное время для каждого этапа.
3. **Секрет от шефа:** В конце добавь один профессиональный совет, который поможет сделать это блюдо еще вкуснее.

Форматируй ответ, используя списки и выделение для удобства чтения.

Дай мне рецепт пасты Карбанара с сыром рикота.

Этот промпт эффективен по той же причине, что и предыдущий, но в другом контексте:

1. Исправление предметной области: Инструкция в "Этапе 1" заставляет модель сначала разобраться с кулинарной терминологией. В данном примере запрос содержит две потенциальные проблемы: опечатка "Карбанара" вместо "Карбонара" и неклассический ингредиент "сыр рикота". Модель, прежде чем генерировать рецепт, сначала исправит название и идентифицирует "рикоту" как отклонение от классического рецепта.
2. Предотвращение неверной генерации: Без этапа коррекции модель могла бы начать искать рецепты для несуществующей "Пасты Карбанара", что могло бы привести к смешению разных рецептов или выдуманным шагам. Явное указание работать с исправленным запросом направляет модель на поиск аутентичных рецептов "Карбонары".
3. Управление контекстом: Модель, исправив запрос, поймет, что классическая Карбонара не содержит рикотту. Это позволит ей либо сгенерировать классический рецепт и тактично указать, что рикотта не используется, либо предложить твист-версию, но уже осознанно. Это гораздо лучше, чем слепо смешивать ингредиенты. Таким образом, двухэтапный подход повышает осмысленность и экспертность ответа.

• A. Релевантность техникам промтинга: Да. Хоть исследование и не дает готовых фраз, оно раскрывает критически важную стратегию для построения промптов: принудительное исправление запроса перед выполнением основной задачи. Это фундаментальный паттерн.
• B. Улучшение качества диалоговых ответов: Да, напрямую. Исследование доказывает, что опечатки приводят к катастрофическому падению качества ответов (ретривер находит нерелевантные документы), а предложенный подход это исправляет.
• C. Прямая практическая применимость: Высокая, но через адаптацию. Пользователь не может обучить свой ретривер (как в методе QER-RAG), но может легко реализовать принцип метода RA-QCG (Retrieval-Augmented Query Correction) через структуру промпта, заставив модель сначала исправить запрос, а потом на него отвечать.
• D. Концептуальная ценность: Очень высокая. Исследование наглядно демонстрирует одну из ключевых слабостей RAG-систем — хрупкость к малейшим ошибкам во входных данных. Оно формирует у пользователя правильную "ментальную модель": LLM — не телепат, и "мусор на входе" (опечатка) порождает "мусор на выходе" (неверный ответ).
• E. Новая полезная практика (кластеризация):
  • Кластер 1 (Техники формулирования): Дает основу для техники "самокоррекции" внутри промпта.
  • Кластер 2 (Поведенческие закономерности): Ярко иллюстрирует чувствительность LLM и особенно RAG-систем к ошибкам в запросе.
  • Кластер 7 (Надежность и стабильность): Предлагает прямой путь к повышению надежности ответов при работе с потенциально "грязными" входными данными.
• Чек-лист практичности:
  • Дает готовые фразы/конструкции для промптов? (Нет, но дает структуру)
  • Раскрывает неочевидные особенности поведения LLM? (Да)
  • Предлагает способы улучшить consistency/точность ответов? (Да)
  • Наличие ответов "Да" на ключевые вопросы добавляет +15 баллов к базовой оценке.

Базовая оценка (78) + Бонус за практичность (15) = 93.

Эта работа получает такую высокую оценку, потому что она вскрывает универсальную и часто встречающуюся проблему — опечатки — и предлагает концептуально понятное и практически реализуемое (через промпт) решение.