PhantomWiki Наборы данных по запросу для оценки рассуждений и поиска

Исследование представляет PhantomWiki — генератор синтетических "вселенных" (вымышленных википедий), на которых LLM не обучались. Это позволяет чисто измерить две ключевые способности модели: логическое мышление (соединение нескольких фактов в цепочку) и поиск информации в большом объеме текста. Эксперименты показывают, что обе способности у современных LLM крайне ограничены и резко деградируют с ростом сложности задачи.

Ключевой результат: Даже передовые LLM резко теряют в качестве при решении многошаговых задач, требующих последовательного извлечения и анализа нескольких фактов, особенно при увеличении объема контекста.

Суть исследования в том, чтобы изолировать и проверить "чистый" навык рассуждения LLM, а не ее эрудицию. Для этого создается вымышленный мир с персонажами, их родственными связями, профессиями и хобби, описанными в десятках или сотнях коротких статей. Затем модели задается сложный вопрос, например: "Какая профессия у племянника друга того человека, чье хобби — орнитология?".

Чтобы ответить, модель должна: 1. Найти статью о человеке с хобби "орнитология". 2. В этой статье найти имя его друга. 3. Найти статью об этом друге. 4. Найти в ней имя его сестры/брата. 5. Найти статью о сестре/брате. 6. Найти в ней имя ее/его сына (племянника). 7. Найти статью о племяннике и узнать его профессию.

Исследование доказывает, что если просто дать LLM все статьи и задать этот вопрос, она с высокой вероятностью ошибется. Модель "теряется" в цепочке рассуждений. Однако, если модель (в "агентном" режиме) может делать запросы последовательно ("Найди человека с хобби орнитология" -> "ОК, это Джон. Теперь найди друга Джона" -> "ОК, это Питер..." и т.д.), то задача решается успешно.

Практический вывод для пользователя: Нельзя полагаться на то, что LLM самостоятельно построит сложную логическую цепочку. Вы, как пользователь, должны выступить в роли "внешнего процессора" и сымитировать агентный подход в своем промпте. Ваша задача — разбить сложный вопрос на явную, принудительную последовательность простых шагов, которые модель будет выполнять один за другим.

*Прямая применимость:Пользователь может немедленно начать использоватьметод пошаговой декомпозициидля любых сложных задач. Вместо одного большого запроса ("Проанализируй эти отзывы и предложи 3 улучшения для моего продукта") нужно писать структурированный промпт с явными шагами ("Шаг 1: Извлеки все негативные упоминания из отзывов. Шаг 2: Сгруппируй их по темам. Шаг 3: Для каждой темы предложи конкретное улучшение").

• Концептуальная ценность: Формирует критически важную "ментальную модель" у пользователя:

  1. LLM — не "ум", а "калькулятор": Она не "понимает" задачу в целом, а следует последовательности токенов. Сложная логика ее путает.
  2. Контекстное окно — не "память", а "рабочий стол": Большой объем информации на столе не гарантирует, что модель найдет и правильно свяжет нужные листки. Это называется проблемой "иголки в стоге сена" (needle in a haystack).
  3. Вы — навигатор: Ваша роль при написании промпта — быть штурманом для LLM, прокладывая четкий и однозначный маршрут к ответу.

• Потенциал для адаптации: Метод универсален. Он адаптируется для любой задачи, которую можно разбить на этапы: анализ документов, планирование путешествий, создание маркетинговых стратегий, написание сложного кода, подготовка отчетов. Механизм адаптации прост: перед тем, как написать промпт, нужно самому для себя ответить на вопрос: "Какие 3-5 последовательных шагов нужно сделать, чтобы прийти к финальному ответу?". Затем эти шаги нужно явно прописать в промпте в качестве инструкций.

Задача: Вы — менеджер продукта. Вам прислали три длинных письма от пользователей с обратной связью. Нужно проанализировать их и подготовить краткую сводку для команды разработки.

# РОЛЬ

Ты — опытный продакт-менеджер, который умеет четко структурировать обратную связь от пользователей и превращать ее в конкретные задачи для команды.

# КОНТЕКСТ

Ниже приведены три email-сообщения от наших ключевых клиентов.

{{...текст первого письма...}}

{{...текст второго письма...}}

{{...текст третьего письма...}}

# ЗАДАЧА

Твоя задача — проанализировать эти письма и подготовить сводку. Действуй СТРОГО по следующему плану, выполняя шаг за шагом:

**Шаг 1: Извлечение ключевых проблем.**
Прочитай каждое письмо и выпиши из них все конкретные проблемы, с которыми столкнулись пользователи. Не добавляй ничего от себя, только факты из текста. Представь результат в виде списка.

**Шаг 2: Группировка и категоризация.**
Возьми список проблем из Шага 1. Сгруппируй схожие проблемы вместе. Присвой каждой группе понятную категорию (например: "Проблемы с интерфейсом", "Медленная загрузка отчетов", "Ошибки при экспорте данных").

**Шаг 3: Формулирование предложений для команды.**
На основе категорий из Шага 2, сформулируй 3-4 самых приоритетных предложения по улучшению продукта для команды разработки. Каждое предложение должно быть конкретным и решающим одну из сгруппированных проблем.

**Финальный результат:**
Представь свой ответ в виде четкого отчета, последовательно отображая результаты Шага 1, Шага 2 и Шага 3 под соответствующими заголовками.

Этот промпт эффективен, потому что он напрямую применяет выводы исследования PhantomWiki, симулируя "агентный" подход:

1. Декомпозиция: Вместо одного сложного запроса "Проанализируй и предложи" мы имеем три простых, последовательных подзадачи. Это снижает когнитивную нагрузку на модель.
2. Принудительная последовательность: Инструкция "Действуй СТРОГО по следующему плану" и нумерация шагов заставляют модель не пытаться "срезать путь", а выполнять операции в правильном порядке. Это имитирует многошаговый поиск информации, который был успешен в экспериментах.
3. Промежуточные результаты: Каждый шаг опирается на результат предыдущего. Модель сначала создает "базу фактов" (Шаг 1), затем структурирует ее (Шаг 2), и только потом делает выводы (Шаг 3). Это предотвращает галлюцинации и пропуск важных деталей, что часто случается при попытке сделать все за один проход.

Задача: Вы хотите спланировать отпуск с семьей (2 взрослых, 1 ребенок 10 лет) в Италии на 10 дней. Бюджет ограничен.

# РОЛЬ

Ты — опытный тревел-агент, специализирующийся на семейных поездках в Италию с оптимальным соотношением цены и качества.

# КОНТЕКСТ

- **Путешественники:** 2 взрослых, 1 ребенок (10 лет).
- **Длительность:** 10 дней.
- **Страна:** Италия.
- **Бюджет:** Средний (избегаем люкс-отелей, но и не хостелы).
- **Интересы:** История (древний Рим), искусство (Ренессанс), вкусная еда, море.

# ЗАДАЧА

Разработай детальный план поездки. Выполняй задачу СТРОГО по шагам, чтобы ничего не упустить.

**Шаг 1: Разработка маршрута.**
Предложи логичный маршрут по городам на 10 дней, учитывая интересы. Оптимизируй перемещения между городами (например, Рим -> Флоренция -> побережье). Укажи, сколько дней провести в каждом городе.

**Шаг 2: Подбор активностей для каждого города.**
Для каждого города из маршрута на Шаге 1, предложи 2-3 ключевые активности. Обязательно включи что-то интересное для 10-летнего ребенка (например, Колизей в Риме, музей Леонардо да Винчи во Флоренции).

**Шаг 3: Рекомендации по жилью и питанию.**
Для каждого города предложи тип жилья, соответствующий среднему бюджету (например, "апартаменты через Airbnb" или "3-звездочный отель в центре"). Также дай рекомендации, какие местные блюда обязательно попробовать в каждом регионе.

**Финальный результат:**
Собери все воедино в единый путеводитель с четкими разделами: "Маршрут", "Активности по дням" и "Рекомендации".

Этот промпт работает по тому же принципу, что и предыдущий, который основан на выводах исследования:

1. Снижение сложности: Задача "спланировать отпуск" огромна и многогранна. Промпт разбивает ее на три управляемых блока: логистика (маршрут), содержание (активности) и бытовые вопросы (жилье, еда).
2. Управляемое мышление: Модель вынуждена сначала решить самую важную задачу — маршрут. Это решение становится основой для следующего шага (подбор активностей). Без этого модель могла бы хаотично накидать достопримечательности из разных концов страны.
3. Надежность и полнота: Пошаговая структура гарантирует, что ни один из аспектов (интересы ребенка, бюджет, логистика) не будет упущен. Модель не может "забыть" про ребенка на Шаге 2, потому что это было явным требованием. Это прямой способ борьбы с пропусками и повышения надежности ответа, что является ключевой проблемой, выявленной в PhantomWiki.

• A. Релевантность техникам промтинга: Высокая. Хотя исследование не предлагает новых фраз, оно убедительно доказывает эффективность таких подходов, как Chain-of-Thought и декомпозиция задач, и объясняет, почему они работают.
• B. Улучшение качества диалоговых ответов: Высокая. Применение выводов исследования напрямую ведет к повышению точности и полноты ответов в сложных задачах, требующих анализа нескольких фактов.
• C. Прямая практическая применимость: Средне-высокая. Пользователь не получает готовых "заклинаний" для копипаста, но получает ясную стратегию ("симуляция агента"), которую можно немедленно применить для структурирования сложных запросов без какого-либо кода.
• D. Концептуальная ценность: Очень высокая. Это главная сила исследования для пользователя. Оно наглядно демонстрирует фундаментальные ограничения современных LLM: их неспособность к самостоятельному многошаговому рассуждению и "потерю" информации в большом контексте.
• E. Новая полезная практика (кластеризация): Работа попадает сразу в несколько ключевых кластеров:
  • №1 (Техники формулирования): Ярко подтверждает ценность Chain-of-Thought и декомпозиции.
  • №2 (Поведенческие закономерности): Четко показывает, как производительность LLM падает с увеличением числа "логических шагов" и размера контекста.
  • №6 (Контекст и память): Демонстрирует провал стандартного RAG на многошаговых вопросах и успех агентного подхода (динамический поиск).
  • №7 (Надежность и стабильность): Предлагаемый подход (явная декомпозиция задачи) — это прямой путь к снижению галлюцинаций и повышению стабильности ответов.
• Чек-лист практичности (+15 баллов): Да, работа показывает, как структурировать сложные запросы, раскрывает неочевидные особенности поведения LLM (резкое падение качества) и предлагает способы улучшить точность ответов. Это добавляет 15 баллов к базовой оценке.

Исследование получает 84 балла. Это не 90+, потому что оно не дает готовых формулировок, а предлагает концептуальную модель и стратегию, которую пользователь должен адаптировать под свою задачу. Однако его ценность огромна, так как оно объясняет почему работают продвинутые техники промптинга.