Thunder-NUBench - Бенчмарк для LLMs по пониманию отрицания на уровне предложений

Исследование показывает, что большие языковые модели часто не понимают разницу между отрицанием всего смысла предложения (стандартное отрицание) и отрицанием лишь его части (локальное отрицание). Модели полагаются на поверхностные признаки (например, наличие слова "not"), из-за чего неверно интерпретируют сложные инструкции с отрицаниями. Для доказательства этого авторы создали специальный тест (бенчмарк) ThunderNUBench.

Ключевой результат: Модели систематически путают отрицание всей идеи с отрицанием второстепенной детали, что ведет к неточным и нерелевантным ответам.

Суть метода, который можно извлечь из этого исследования, заключается восознанном и явном указании на масштаб отрицанияв промпте. Вместо того чтобы полагаться на интуитивное понимание моделью частицы "не", пользователь должен действовать как программист, четко определяя "область видимости" своей негативной инструкции.

Проблема, как ее вскрывает исследование, в следующем: Когда вы говорите: "Человек, который не купил билет, вошел в зал", вы отрицаете только малую часть (покупку билета), но не основное действие (вход в зал). Это локальное отрицание. Когда вы говорите: "Человек не вошел в зал", вы отрицаете главное действие. Это стандартное отрицание.

LLM часто не видят этой разницы. Они видят маркер "не" и могут применить его не к тому, к чему нужно, или вообще проигнорировать, если основной контекст кажется позитивным.

Практическая методика для пользователя:

1. Определите масштаб: Прежде чем писать промпт, решите, что именно вы отрицаете: главную идею или второстепенную деталь?
2. Сделайте отрицание явным и приоритетным: Не прячьте отрицание в середине сложного предложения. Вынесите его в начало или сделайте ключевым условием задачи.
3. Используйте "усилители" отрицания: Добавьте фразы, которые подчеркивают глобальность и важность негативной инструкции. Вместо "не включай в отчет данные по продажам" используйте "Твоя главная задача — составить отчет, ПОЛНОСТЬЮ ИСКЛЮЧИВ любые данные по продажам. Это критически важное условие".
4. Конкретизируйте, что отрицать: Вместо абстрактного "сделай текст менее позитивным", укажите точно: "Убери из текста все хвалебные прилагательные и восторженные эпитеты, но сохрани перечень фактов без изменений". Это превращает неопределенное отрицание в точечную инструкцию.

*Прямая применимость:Пользователи могут немедленно начать использовать более точные формулировки для негативных инструкций. Например, при редактировании текста, вместо "убери лишнее", можно указать: "Перепиши текст, сохранив основные тезисы (A, B, C), но полностью удалив упоминания о конкурирующем продукте Z. Отрицание касается только продукта Z, а не тезисов".

• Концептуальная ценность: Исследование дает бесценное понимание: LLM не "читает" текст как человек, а ищет статистические паттерны. Оно объясняет, почему LLM так часто "галлюцинируют" или игнорируют ключевые ограничения. Пользователь начинает воспринимать промпт не как беседу, а как настройку параметров для сложного инструмента, где нужно явно указывать область применения каждой инструкции.

• Потенциал для адаптации: Принцип "явного указания на область действия инструкции" универсален. Его можно адаптировать для любых задач:

  • Суммаризация: "Сделай краткую выжимку, фокусируясь только на финансовых показателях и полностью игнорируя кадровые перестановки".
  • Смена стиля: "Измени тон этого письма с официального на дружелюбный, но оставь без изменений юридическую часть в последнем абзаце". Механизм адаптации прост: рассматривайте любую инструкцию (не только отрицание) как операцию, для которой нужно задать "область видимости" — к какой части текста или задачи она применяется, а к какой — нет.

Представим, что вы SMM-менеджер и вам нужно адаптировать слишком "продающий" текст о новом фитнес-браслете для публикации в блоге, где ценится объективность.

**Роль:** Ты — опытный редактор технологического блога. Твоя задача — превратить рекламный текст в объективный обзор.
**Контекст (исходный текст):**
"Встречайте революционный фитнес-браслет 'NovaFit X'! Это невероятное устройство с потрясающе точным пульсометром и феноменальной батареей, работающей целый месяц, навсегда изменит ваши тренировки! Купите его сегодня и достигните вершин!"

**Инструкция:**
Перепиши текст выше, следуя строгим правилам:
1. **Примени стандартное отрицание ко всей рекламной риторике.** Это значит: полностью удали все восторженные, субъективные и хвалебные слова ("революционный", "невероятное", "потрясающе", "феноменальной", "навсегда изменит").
2. **Не применяй отрицание к фактам.** Это значит: сохрани информацию о названии ("NovaFit X"), функциях (пульсометр) и технических характеристиках (батарея работает месяц).
3. **Примени локальное отрицание к призыву к действию.** Удали фразу "Купите его сегодня и достигните вершин!".

Твой итоговый текст должен быть нейтральным, фактическим и информативным, без эмоциональной окраски.

Этот промпт эффективен, потому что он напрямую применяет выводы исследования, не оставляя модели пространства для неверной интерпретации:

• Четкое разделение: Промпт разделяет задачу на три части, используя терминологию, основанную на идеях исследования. Инструкция "примени стандартное отрицание ко всей рекламной риторике" говорит модели, что нужно глобально отфильтровать и удалить целый класс слов.
• Указание на масштаб: Фразы "ко всей рекламной риторике" и "полностью удали" задают максимальный масштаб для первого правила. В то же время, правило №2 ("не применяй отрицание к фактам") четко ограничивает эту операцию, защищая важную информацию от удаления.
• Конкретика вместо абстракции: Вместо задачи "сделай текст менее рекламным", мы даем конкретные инструкции, что считать "рекламой" (хвалебные слова) и что с этим делать (удалить). Это превращает задачу из семантической в операционную, с которой LLM справляются лучше.

Представим, что вы планируете отпуск с семьей и просите LLM помочь с идеями для поездки в Италию. У вас есть жесткое ограничение.

**Роль:** Ты — эксперт по семейным путешествиям по Италии.
**Контекст:**
Я планирую поездку в Италию на 10 дней с двумя детьми (7 и 12 лет). Бюджет средний. Мы прилетаем в Рим.

**Задача:**
Предложи 3 варианта маршрута из Рима.

**Критически важное ограничение (правило стандартного отрицания):**
В предложенных маршрутах **не должно быть абсолютно никаких посещений художественных музеев, картинных галерей и руин древних городов (Колизей, Форум и т.д.)**. Это ограничение является главным и должно соблюдаться на 100%. Отрицание касается всей категории "исторические достопримечательности и классическое искусство".

Вместо этого, сделай акцент на следующих активностях:
- Интерактивные научные музеи для детей.
- Кулинарные мастер-классы (пицца, паста).
- Поездки на природу, парки, озера.
- Посещение необычных мест, например, парка монстров в Бомарцо.

Этот промпт работает, потому что он борется с основной проблемой, выявленной в исследовании, — тенденцией LLM игнорировать отрицания, если они противоречат "типичному" запросу.

• Усиление отрицания: Простой запрос "без музеев" для маршрута по Италии является статистически аномальным. Модель, обученная на миллионах текстов, где "Рим" и "Колизей" неразрывно связаны, может проигнорировать такое "локальное" ограничение. Фраза "Критически важное ограничение (правило стандартного отрицания)" повышает приоритет этой инструкции до максимума.
• Определение области отрицания: Промпт четко определяет, что именно входит в запрещенную категорию: "художественные музеи, картинные галереи и руины". Это гораздо эффективнее, чем общее "без достопримечательностей".
• Предоставление альтернативы: Указание на разрешенные активности (научные музеи, мастер-классы) не только помогает модели сгенерировать релевантный контент, но и дополнительно подчеркивает, что именно нужно исключить. Модель получает четкий "положительный" вектор для генерации, что снижает вероятность срыва на привычные паттерны.

• A. Релевантность техникам промтинга: Да, исследование напрямую вскрывает, почему LLM ошибаются при обработке отрицаний, и предлагает классификацию, которую можно использовать для более точных формулировок.
• B. Улучшение качества диалоговых ответов: Определенно. Понимание и правильное применение отрицания — фундаментальный аспект любого осмысленного диалога. Методы, вытекающие из исследования, напрямую повышают точность.
• C. Прямая практическая применимость: Очень высокая. Пользователь без каких-либо технических навыков может сразу же начать формулировать промпты с отрицаниями более точно, основываясь на выводах статьи.
• D. Концептуальная ценность: Исключительно высокая. Статья дает пользователю "ментальную модель" одной из ключевых слабостей LLM. Она объясняет, почему простой промпт "не делай X" часто проваливается, и вводит понятия "стандартного" и "локального" отрицания, что позволяет диагностировать и исправлять ошибки.

• E. Новая полезная практика (кластеризация):

  • Кластер 2 (Поведенческие закономерности LLM): Основной вклад. Статья вскрывает фундаментальную закономерность: LLM плохо различают отрицание всей сути предложения (стандартное) и отрицание его части (локальное), полагаясь на поверхностные маркеры вроде слова "not".
  • Кластер 7 (Надежность и стабильность): Прямое следствие. Применение выводов повышает надежность ответов в задачах, содержащих негативные инструкции.
  • Кластер 1 (Техники формулирования промптов): Опосредованно. На основе поведенческих закономерностей можно сформулировать более надежные техники промптинга.

• Чек-лист практичности (+15 баллов): Да, работа раскрывает неочевидные особенности поведения LLM и предлагает способы улучшить точность ответов. Это добавляет +15 баллов к базовой оценке.

Аргументы за оценку 93: Исследование посвящено фундаментальной и часто встречающейся проблеме — неспособности LLM корректно обрабатывать отрицания. Оно не просто констатирует проблему, а дает пользователю мощный концептуальный инструмент для ее решения, разделяя отрицания на "стандартные" и "локальные". Этот вывод имеет огромную практическую ценность, так как позволяет перейти от метода проб и ошибок ("почему он опять включил это в ответ?!") к осознанному конструированию промпта ("ага, модель восприняла мое отрицание как локальное, нужно сделать его стандартным"). Вывод о том, что модели путают эти типы, — это четкий и сразу применимый инсайт, заслуживающий оценки не менее 75 баллов. Дополнительные 15+ баллов даются за исключительную концептуальную ясность и прямую трансляцию в практику промптинга.