Непрямое понимание числовых слов языковыми моделями

Исследование показывает, что большие языковые модели (LLM) плохо справляются с пониманием небуквального использования чисел, например, преувеличений (гипербол) или приблизительных значений. Выяснилось, что проблема не в отсутствии у моделей знаний о мире, а в их неспособности к прагматическому рассуждению о намерениях собеседника. Для решения этой проблемы авторы предложили специальный промпт в формате "цепочки рассуждений" (Chain-of-Thought), который заставляет модель анализировать контекст и возможные цели говорящего, что делает ее интерпретацию значительно более "человечной".

Ключевой результат: Модели обладают нужными знаниями о мире, но не умеют их применять для прагматического рассуждения, и это можно исправить, проведя модель по цепочке рассуждений прямо в промпте.

Суть метода заключается в том, чтобы не позволять LLM реагировать на ваш запрос импульсивно и буквально. Вместо этого вы заставляете ее действовать как вдумчивый аналитик, явно прописывая в промпте шаги для рассуждения.

Представьте, что вы говорите LLM: "Эта задача займет вечность!". Буквальная LLM может впасть в ступор или ответить что-то нерелевантное о бесконечности. Метод из исследования предлагает построить промпт так, чтобы модель сначала подумала:

1. Анализ буквального смысла: "Вечность" — это бесконечное время. Это физически невозможно для выполнения задачи.
2. Анализ контекста и знаний о мире: Люди часто используют слово "вечность" для описания очень долгой, утомительной задачи.
3. Анализ цели говорящего: Скорее всего, человек не сообщает мне о реальных сроках, а выражает свое разочарование, усталость или сложность задачи. Его цель — эмоциональная, а не информационная.
4. Синтез и вывод: Следовательно, под "вечностью" имеется в виду "очень долгая и сложная задача". Мой ответ должен учитывать это, а не буквальное значение.

Этот подход, называемый RSA-inspired Chain-of-Thought, превращает LLM из простого исполнителя в партнера по рассуждению. Вы даете ей не только задачу, но и "инструкцию по мышлению" для ее решения.

*Прямая применимость:Высочайшая. Пользователь может немедленно использовать эту структуру в своих промптах, когда имеет дело с любым видом небуквального языка: гиперболой, сарказмом, иронией, метафорой. Достаточно добавить в промпт блок, где модель просят пошагово проанализировать буквальное значение, контекст и намерение пользователя, прежде чем давать финальный ответ.

• Концептуальная ценность: Огромная. Исследование дает пользователю мощную ментальную модель: "LLM — это гениальный стажер. У него есть доступ ко всем знаниям мира, но ему не хватает жизненного опыта, чтобы понять скрытые мотивы и контекст. Моя задача как промпт-инженера — быть для него тем самым опытным наставником, который направляет его рассуждения". Это понимание меняет подход к написанию промптов с "команд" на "руководство".

• Потенциал для адаптации: Метод легко адаптируется за пределы интерпретации чисел. Его можно использовать для:

  • Анализа сарказма: "О, конечно, я обожаю стоять в пробках".
  • Интерпретации сложных метафор: "Он был ледоколом в этом проекте".
  • Понимания косвенных просьб: "Что-то в комнате стало прохладно".
  • Механизм адаптации прост: вы заменяете "анализ числа" на "анализ высказывания", а "знания о ценах" на "знания о человеческом поведении/социальных нормах". Структура рассуждения (буквальный смысл -> контекст -> намерение -> вывод) остается той же.

Этот промпт работает за счет принудительной декомпозиции задачи для LLM. Вместо того чтобы пытаться решить невыполнимую задачу "создать план для миллиарда просмотров", модель получает четкую инструкцию по интерпретации:

1. Блок Мое высказывание предоставляет исходные данные.
2. Блок Твоя цепочка рассуждений — это ядро метода. Он заставляет модель активировать свои знания о мире ("миллиард просмотров — это почти невозможно") и прагматические навыки ("менеджер использует гиперболу для мотивации").
3. Ключевые фразы Не воспринимай мое высказывание буквально и Интерпретируй мое намерение прямо переключают модель из режима исполнителя в режим аналитика.
4. Блок Твой финальный ответ направляет модель на генерацию полезного результата, основанного уже на правильной, небуквальной интерпретации исходного запроса.

Этот промпт эффективен, потому что он направляет творческую энергию LLM в нужное русло, предотвращая буквальную, но бесполезную генерацию.

1. Четкий контекст (реалистичная психологическая драма) сразу задает рамки и ограничения, активируя у модели нужные знания о жанре.
2. Инструкция Не воспринимай мою идею буквально работает как предохранитель, отключая наивную интерпретацию.
3. Пошаговое рассуждение заставляет модель перевести авторскую гиперболу ("море слез") в конкретную литературную задачу ("показать отчаяние через реалистичные детали"). Это ключевой шаг: модель понимает, что от нее требуется не визуализация моря, а передача эмоции.
4. В результате, вместо абсурдной сцены, LLM генерирует сильный, эмоциональный и, что самое важное, уместный для жанра текст, который соответствует истинному замыслу автора.

• A. Релевантность техникам промтинга: Да, исследование напрямую предлагает технику Chain-of-Thought (CoT), адаптированную на основе когнитивной модели (RSA), для улучшения интерпретации.
• B. Улучшение качества диалоговых ответов: Да, предложенный метод значительно повышает способность LLM понимать небуквальный язык (гиперболы, округления), что ведет к более адекватным и "человечным" ответам.
• C. Прямая практическая применимость: Абсолютно. Решение — это промпт. Пользователю не нужен код или специальные инструменты. Технику можно применить в любом чат-боте.
• D. Концептуальная ценность: Очень высокая. Исследование вскрывает фундаментальное ограничение LLM: они могут обладать знаниями о мире (знать, что чайник не стоит $10,000), но не уметь применять эти знания для прагматического рассуждения (понимания, что фраза "чайник за $10,000" — это гипербола).
• E. Новая полезная практика (кластеры): Работа попадает сразу в несколько ключевых кластеров:
  • Кластер 1 (Техники формулирования): Явно предлагает RSA-inspired Chain-of-Thought.
  • Кластер 2 (Поведенческие закономерности): Раскрывает склонность LLM к чрезмерной буквальности и неверной интерпретации округленных чисел.
  • Кластер 7 (Надежность и стабильность): Повышает надежность интерпретации в ситуациях, где буквальное понимание ведет к ошибке.
• Чек-лист практичности (+15 баллов): Да, работа дает готовые конструкции, показывает, как структурировать запрос для сложной интерпретации и раскрывает неочевидные особенности поведения LLM.

Аргументы за оценку (95/100): Исследование имеет огромную практическую ценность. Оно не просто предлагает "трюк", а дает глубокое понимание, почему LLM ошибаются в интерпретации небуквального языка, и предлагает элегантное, легко воспроизводимое решение через промпт. Ключевой вывод — "у LLM есть знания, но нет навыка рассуждения" — это золотой инсайт для любого пользователя. Он учит не просто давать модели факты, а направлять ее мыслительный процесс. Техника RSA-like CoT (пошаговое рассуждение о целях говорящего и контексте) является универсальным инструментом для борьбы с буквальным "мышлением" машины.