ReliableMath: бенчмарк надежного математического рассуждения на больших языковых моделях

Исследование показывает, что большие языковые модели (LLM) склонны выдумывать (галлюцинировать) решения для задач, которые в принципе нерешаемы. Авторы доказывают, что если в промпт добавить явную инструкцию, позволяющую модели определить задачу как "нерешаемую" или отказаться от ответа, ее надежность значительно возрастает. Этот подход, названный "надежным промптом", помогает избежать ложных ответов, не ухудшая при этом способность модели решать выполнимые задачи.

Ключевой результат: Добавление в промпт инструкции, разрешающей модели признать задачу нерешаемой, кардинально снижает галлюцинации без ущерба для решаемых задач.

Суть метода заключается в изменении постановки задачи для LLM. По умолчанию, LLM воспринимает любой запрос как задачу, которую необходимо решить. Модель обучена на огромных массивах данных, где на каждый вопрос есть ответ, что создает у нее "смещение к обязательному решению". Когда она сталкивается с нелогичным или невыполнимым запросом, ее внутренняя логика все равно пытается сгенерировать наиболее вероятное продолжение, что и приводит к выдуманным фактам и "галлюцинациям".

Метод, предложенный в исследовании, ломает этот паттерн. Он вводит в промпт альтернативный путь к успеху для модели. Вместо одной цели ("дай ответ") появляются две: 1. Если задача решаема — дай правильный ответ. 2. Если задача нерешаема — правильно определи, что она нерешаема, и сообщи об этом.

Таким образом, для LLM правильный ответ "Эту задачу решить невозможно на основе предоставленных данных" становится таким же "успешным" результатом, как и числовой ответ в математической задаче. Пользователь, формулируя промпт, должен явно предоставить модели этот "аварийный выход". Это переключает модель из режима "безусловного решателя" в режим "аналитика", который сначала оценивает выполнимость, а уже потом приступает к решению.

• Прямая применимость: Пользователь может немедленно начать использовать этот подход. Достаточно добавить в конец своего промпта условие, описывающее, как действовать в случае невыполнимости. Например: "Если информации в тексте недостаточно для ответа, напиши 'Данных недостаточно'". Это применимо к задачам анализа текста, суммаризации, извлечения фактов и многих других.

• Концептуальная ценность: Главный вывод для пользователя — не доверять LLM по умолчанию. Модель не "думает" о выполнимости задачи, она просто генерирует текст. Исследование дает понимание, что надежность LLM — это не встроенное свойство, а результат правильной постановки задачи. Пользователь должен сам заложить в промпт критерии "невыполнимости", чтобы научить модель распознавать такие случаи в рамках одного запроса.

• Потенциал для адаптации: Метод легко адаптируется из математики на любую сферу.

  • Бизнес-анализ: "Проанализируй эти отчеты о продажах и найди причину падения спроса в 3 квартале. Если однозначную причину установить нельзя, укажи на это и перечисли возможные факторы."
  • Креатив: "Напиши слоган для компании, который будет одновременно смешным, коротким и серьезным. Если считаешь, что совместить эти три качества невозможно, объясни почему."
  • Юриспруденция: "На основе статьи 125 УК РФ, определи, является ли данная ситуация преступлением. Если данных для квалификации недостаточно, четко укажи, какой информации не хватает."

Механизм адаптации прост: определите для своей задачи, что является "нерешаемым" случаем, и явно опишите это как допустимый (и даже желательный) исход в своем промпте.

Этот промпт работает за счет создания искусственной "нерешаемой задачи" и предоставления LLM четкого "пути отступления".

1. Постановка невыполнимой задачи: В отзывах нет ни слова о цвете ремешка. Без специальной инструкции LLM, скорее всего, попыталась бы сгенерировать обобщенный, но нерелевантный ответ, например: "Клиенты ценят дизайн, поэтому вероятно, что цвет ремешка также важен для них", что является галлюцинацией.
2. Явный "аварийный выход": Инструкция в разделе **Ключевое требование** действует как "надежный промпт" из исследования. Она дает модели альтернативный, правильный ответ для случая, когда данных нет.
3. Предотвращение галлюцинаций: Фраза "Не пытайся делать предположения или додумывать информацию" напрямую запрещает модели ее стандартное поведение (заполнять пробелы наиболее вероятным текстом) и заставляет ее строго придерживаться предоставленного контекста.

В результате модель, вместо того чтобы выдумать ответ, выберет предписанный ей безопасный и честный вариант, что и требовалось.

Этот пример работает по тому же принципу, что и предыдущий, но в контексте задачи извлечения фактов и суммаризации.

1. Ловушка для LLM: В тексте обсуждаются разные цифры (500, 300, 400 тысяч), но ни одна из них не является финальным, утвержденным решением. Стандартная LLM могла бы ошибочно "ухватиться" за последнюю обсуждаемую цифру (400) или за предложение Анны (500) и выдать ее за итоговое решение, что было бы неверно.
2. Четкий критерий "нерешаемости": "Важное правило" устанавливает строгий критерий для ответа: решение должно быть "четко зафиксированным и согласованным всеми". Так как в тексте такого решения нет, задача становится "нерешаемой" по заданным критериям.
3. Предписанный правильный ответ: Промпт предоставляет точную формулировку для случая невыполнения условия: "Окончательное решение по бюджету на Q3 не было принято". Это направляет модель к единственно верному и честному выводу, заставляя ее отличить обсуждение от факта, что является критически важным для задач анализа документов.

• A. Релевантность техникам промтинга: Да, исследование напрямую вводит и доказывает эффективность "надежного промпта" (reliable prompt) — конкретного типа инструкций, позволяющих LLM идентифицировать нерешаемые задачи.
• B. Улучшение качества диалоговых ответов: Да, метод кардинально снижает количество галлюцинаций и сфабрикованных ответов, когда задача не имеет решения, что повышает надежность и правдоподобность LLM.
• C. Прямая практическая применимость: Да, основной вывод можно применить немедленно, без кода и специальных инструментов, просто добавив в промпт инструкцию, разрешающую модели признать задачу невыполнимой.
• D. Концептуальная ценность: Очень высокая. Исследование раскрывает фундаментальную поведенческую особенность LLM — их "склонность к галлюцинациям" при столкновении с невыполнимыми запросами, так как они обучены всегда давать ответ. Это помогает пользователю понять, что LLM нужно явно "разрешить" не знать чего-то или признать задачу нерешаемой.
• E. Новая полезная практика (кластеризация): Работа попадает сразу в три ключевых кластера:
  • Кластер 1 (Техники формулирования промптов): Предлагает конкретный принцип для построения инструкций.
  • Кластер 2 (Поведенческие закономерности LLM): Выявляет и объясняет склонность моделей "додумывать" решения для нерешаемых задач.
  • Кластер 7 (Надежность и стабильность): Основной фокус работы — повышение надежности и снижение галлюцинаций.
• Чек-лист практичности: Дает готовые конструкции (принцип), раскрывает неочевидные особенности поведения LLM и предлагает способы улучшить точность ответов. Это дает существенный бонус к оценке.

Аргументы в пользу высокой оценки (88/100): Исследование предлагает простой, но чрезвычайно мощный и универсальный принцип промптинга: всегда давайте модели "путь к отступлению". Оно объясняет, почему LLM так часто врут или выдумывают — они запрограммированы на обязательное решение задачи. Добавление инструкции "Если задача невыполнима, скажи об этом" — это не просто совет, а подтвержденная экспериментами техника, которая напрямую борется с галлюцинациями. Концептуальная ценность огромна, так как меняет подход пользователя от "заставь LLM решить" к "проанализируй и скажи, решаемо ли это".

Контраргументы (почему оценка могла бы быть ниже): * Узкий фокус на математике: Все эксперименты проводятся на математических задачах. Пользователю нужно самостоятельно экстраполировать эти выводы на свои, не-математические области (хотя принцип универсален). * Отсутствие "копипаст" промпта: В статье не приводится точная формулировка "надежного промпта", а лишь описывается его функция. Пользователю нужно самому сформулировать инструкцию на основе этого принципа. * Часть исследования не для пользователей: Значительная часть работы посвящена созданию датасета и "alignment strategy" (дообучению моделей), что совершенно нерелевантно для обычного пользователя чат-бота.

Контраргументы (почему оценка могла бы быть выше): * Фундаментальность открытия: Понимание того, что LLM нужно явно разрешать "не знать", является одним из ключевых инсайтов в промпт-инжиниринге. Это настолько базовый и важный принцип, что его можно считать обязательным к изучению для любого продвинутого пользователя. * Прямое влияние на доверие: Применение этого метода напрямую повышает доверие к ответам LLM, так как пользователь начинает получать честные "я не знаю" или "это невозможно" вместо уверенной дезинформации.