Отказные режимы больших языковых моделей для причинного рассуждения на нарративах

Это исследование показывает, что большие языковые модели часто ошибаются при определении причины и следствия в тексте, особенно если события описаны не по порядку или противоречат "здравому смыслу" модели. Модели склонны думать, что то, что упомянуто раньше в тексте, и произошло раньше, а также доверять своим общим знаниям больше, чем конкретному тексту. Для решения этой проблемы авторы предлагают заставлять модель сначала извлекать всю цепочку событий в виде простой схемы, и только потом задавать ей конкретные вопросы.

Ключевой результат: Прямые вопросы о причинно-следственных связях в тексте ненадежны; надежнее сначала заставить LLM извлечь структуру событий, а затем делать выводы на основе этой структуры.

Суть метода, который можно назвать"Извлеки, затем Спроси" (Extract-Then-Query), заключается в разделении сложной задачи на два простых шага, чтобы обойти "когнитивные искажения" языковой модели.

Исследование выявило две главные слабости LLM:

1. Позиционное смещение (Positional Bias): Модель предполагает, что хронологический порядок событий соответствует порядку их упоминания в тексте. Если в тексте сказано: "Вечеринка удалась благодаря отличной музыке, которую диджей включил после того, как гости собрались", — модель может ошибочно решить, что "вечеринка удалась" — это первое событие в цепи, хотя на самом деле это результат.

2. Смещение на основе параметрических знаний (Parametric Knowledge Bias): Модель полагается на свои внутренние, заученные знания из интернета, даже если предоставленный контекст им противоречит. Если в вымышленной истории сказано: "В этом мире употребление брокколи приводит к ожирению", а вы спросите: "К чему привело употребление брокколи?", модель может "по привычке" ответить, что к похудению, проигнорировав правила вымышленного мира.

Метод "Извлеки, затем Спроси" обходит эти проблемы следующим образом:

• Шаг 1: Извлечение структуры. Вы не задаете свой главный вопрос сразу. Вместо этого вы даете модели текст и просите ее выполнить простую, структурированную задачу: "На основе этого текста, восстанови точную последовательность событий в формате Событие А -> Событие Б -> Событие В". Этот шаг заставляет модель внимательно проанализировать весь текст и связи между событиями, а не искать быстрый ответ-эвристику.

• Шаг 2: Запрос на основе извлеченной структуры. После того как модель выдала вам четкую и правильную цепочку событий, вы задаете свой исходный вопрос. На этом этапе модель уже имеет перед глазами правильную "карту" событий и с гораздо большей вероятностью даст точный ответ, основанный именно на этой карте, а не на своих внутренних "предубеждениях" или порядке слов в исходном тексте.

*Прямая применимость:Метод можно использовать ежедневно. Например, при анализе новостных статей, деловой переписки, отчетов о встречах или пользовательских отзывов. Вместо того чтобы спрашивать "Почему клиент остался недоволен?", сначала нужно дать команду: "На основе этого отзыва, пошагово восстанови хронологию взаимодействия клиента с нашей компанией", а затем задать уточняющий вопрос.

• Концептуальная ценность: Пользователь начинает понимать, что LLM — это не беспристрастный логический процессор, а инструмент со своими "привычками" и "слабостями". Это учит критическому мышлению и формирует полезную привычку "проверять работу" модели, заставляя ее сначала декомпозировать задачу, прежде чем давать окончательный вывод. Ключевая концептуальная идея: LLM по умолчанию ищет самый легкий путь к ответу, и наша задача — направить ее по более сложному, но правильному пути с помощью структурированных инструкций.

• Потенциал для адаптации: Этот подход универсален и легко адаптируется для любых задач, где важна последовательность или структура.

  • Анализ сюжета: "Сначала выпиши ключевых персонажей и их основные действия по порядку, а потом ответь, кто главный злодей".
  • Разбор бизнес-процесса: "Сначала опиши все этапы согласования документа в виде списка, а потом укажи, на каком этапе возникает больше всего задержек".
  • Приготовление по рецепту: "Сначала выпиши все ингредиенты и шаги приготовления по порядку, а потом ответь, можно ли добавить чеснок на первом этапе".

Механизм адаптации прост: любую сложную аналитическую задачу нужно разбить на два этапа: "Сначала извлеки/структурируй/перечисли ключевые элементы X", а затем "На основе этого, ответь на вопрос Y".

Этот промпт эффективен, потому что он напрямую использует метод "Извлеки, затем Спроси" для нейтрализации "позиционного смещения" LLM.

1. Борьба с позиционным смещением: Клиент в отзыве начинает с эмоционального вывода ("проект сорван из-за доставки"). Если бы мы спросили напрямую "Почему проект сорван?", модель могла бы дать поверхностный ответ "Из-за службы доставки", не вникая в детали.
2. Принуждение к системному анализу (Шаг 1): Инструкция Шаг 1: Извлечение причинно-следственной цепи заставляет модель проигнорировать эмоциональную окраску и порядок изложения в отзыве. Она вынуждена сканировать весь текст, находить маркеры времени ("в понедельник", "во вторник") и логические связи ("поэтому", "из-за этого"), чтобы построить объективную хронологию: Оплата заказа (ПН) -> Проблема с подтверждением платежа -> Подтверждение платежа (ВТ, утро) -> Автоматический перенос доставки на ЧТ -> Клиент не получил заказ (ВТ) -> Срыв съемок (СР).
3. Изолированный вывод (Шаг 2): Просьба ответить на вопрос, опираясь только на извлеченную цепочку, не дает модели шанса вернуться к исходному тексту и снова "запутаться". Глядя на построенную схему, LLM легко определит, что первопричиной стала не сама доставка, а задержка в подтверждении платежа, о которой клиента не уведомили. Это гораздо более глубокий и полезный вывод для бизнеса.

Этот пример работает благодаря тем же механикам, что и предыдущий, но здесь он борется с еще более запутанным порядком изложения.

1. Нейтрализация нелинейного повествования: Автор мемуаров использует литературный прием, начиная с конца (Падение города), затем перескакивая к кульминации (голодные бунты), и только потом объясняя первопричины (указ о налоге, провальная кампания). Для LLM, склонной к позиционному смещению, это минное поле.
2. Принудительное выстраивание таймлайна (Шаг 1): Команда "составь хронологический список событий" заставляет модель искать в тексте временные маркеры ("суровой зимой прошлого года", "к февралю", "в марте") и причинно-следственные конструкции ("толчком послужил", "привел к", "вызвало"). В результате модель генерирует правильную последовательность:
   1. Провальная военная кампания на юге.
   2. Принятие указа о "хлебном налоге" (зимой).
   3. Обнищание крестьян.
   4. Прекращение поставок продовольствия в город (к февралю).
   5. Голодные бунты в столице (в марте).
   6. Падение города.
3. Точный вывод из структуры (Шаг 2): Когда модель смотрит на этот упорядоченный список, ответ на вопрос о "первом толчке" становится для нее тривиальным. Она больше не запутана повествованием и четко видит, что все началось с провальной военной кампании, которая потребовала денег и привела к введению налога. Без Шага 1 модель с высокой вероятностью назвала бы триггером "голодные бунты", так как они упоминаются сразу после ключевой фразы "падение города".

• A. Релевантность техникам промтинга: Да, исследование напрямую сравнивает стандартные промпты, Chain-of-Thought (CoT) и предлагает новую, более надежную двухэтапную технику ("извлеки граф, потом отвечай").
• B. Улучшение качества диалоговых ответов: Определенно. Предложенный метод значительно повышает точность ответов в задачах на понимание причинно-следственных связей, особенно в сложных или запутанных текстах.
• C. Прямая практическая применимость: Очень высокая. Пользователь может немедленно применить предложенный двухэтапный подход в любом чат-боте без кода или специальных инструментов.
• D. Концептуальная ценность: Исключительно высокая. Исследование раскрывает две фундаментальные "когнитивные ошибки" LLM: позиционное смещение (что раньше в тексте, то и было раньше в реальности) и смещение на основе параметрических знаний (доверие своей "базе знаний" больше, чем предоставленному тексту). Это ключевое знание для любого пользователя.
• E. Новая полезная практика (кластеры):
  • Кластер 1 (Техники формулирования): Да, вводит метод "explicit causal graph extraction".
  • Кластер 2 (Поведенческие закономерности): Да, выявляет позиционное смещение и конфликт с параметрическими знаниями.
  • Кластер 3 (Оптимизация структуры): Да, доказывает эффективность двухэтапного структурирования промпта.
  • Кластер 7 (Надежность и стабильность): Да, предложенный метод напрямую нацелен на снижение ошибок и повышение надежности выводов.
• Чек-лист практичности (+15 баллов): Да, работа дает готовую структуру промпта, объясняет, почему важен порядок, показывает, как структурировать сложные запросы и раскрывает неочевидные особенности поведения LLM.

Исследование получает 94 балла, так как оно предоставляет не просто совет, а раскрывает фундаментальные уязвимости LLM и предлагает конкретный, немедленно применимый метод для их обхода. Ценность работы заключается в том, что она учит пользователя не "доверять" первому ответу LLM в сложных задачах, а заставлять модель сначала структурировать информацию, и только потом делать выводы.