Доверие к CHATGPT: как небольшие изменения в запросах приводят к значительным различиям в классификации настроений.

Исследование экспериментально доказывает, что даже самые незначительные изменения в формулировке промпта (замена синонима, перестановка фраз, изменение модального глагола) приводят к статистически значимым различиям в ответах LLM. Авторы показали, что модель GPT-4o mini не обладает семантической устойчивостью, то есть по-разному реагирует на инструкции, которые для человека выглядят идентичными по смыслу.

Ключевой результат: LLM чрезвычайно чувствительны к синтаксической и лексической форме промпта, а грамматически неструктурированные запросы резко повышают риск получения нерелевантных ответов и галлюцинаций.

Суть исследования заключается в проверке гипотезы о том, насколько надежна (робастна) LLM. Авторы взяли простую задачу — классификацию комментариев на "позитивные", "негативные" и "нейтральные" — и попросили модель выполнить ее 10 раз, каждый раз используя немного измененный промпт.

Изменения были четырех типов: 1. Синтаксические: Менялся порядок слов и предложений в инструкции (например, "Проанализируй текст и определи тональность" vs. "Определи тональность, проанализировав текст"). 2. Лексические: Использовались синонимы (например, "анализ эмоций" vs. "анализ чувств"). 3. Модальные: Менялись глаголы, указывающие на степень долженствования (например, "ты должен классифицировать" vs. "ты можешь классифицировать"). 4. Структурные: Инструкцию лишали грамматики и знаков препинания, превращая в "телеграфный стиль" (например, "текст анализ тональность позитив негатив").

Результаты показали, что почти все эти изменения приводили к разным результатам классификации. Особенно плохо модель справилась с "телеграфным стилем", начав выдавать ответы на других языках и давать объяснения, которые ее не просили.

Практическая методика для пользователя: Относитесь к LLM не как к разумному собеседнику, а как к сверхточному, но очень буквальному исполнителю. Ваша задача — составить промпт так, чтобы убрать любую возможную двусмысленность.

• Будьте педантичны: Используйте четкую грамматику и пунктуацию.
• Не надейтесь на "понимание сути": Если промпт не сработал, не просто повторяйте его, а попробуйте переформулировать, используя другие слова, другую структуру предложения.
• Избегайте "телеграфного стиля": Запросы вроде "маркетинг план новый продукт кофейня" с большей вероятностью дадут непредсказуемый результат, чем "Составь маркетинговый план для нового продукта — кофейни".
• Используйте "сильные" глаголы: Если хотите четкого выполнения, используйте директивные команды ("Проанализируй", "Структурируй", "Напиши"), а не мягкие просьбы.

*Прямая применимость:Пользователь может немедленно начать писать более структурированные и грамматически выверенные промпты. Если результат не устраивает, первое, что нужно сделать — это не усложнять задачу, а переформулировать исходную инструкцию, поменяв слова или структуру предложения. Это прямой и эффективный способ отладки промптов.

• Концептуальная ценность: Исследование помогает избавиться от ложного представления, что LLM "понимает" нас как человек. Оно формирует правильное понимание: LLM — это система сопоставления паттернов, для которой "создай краткую выжимку" и "сделай короткое саммари" — это два разных набора токенов, которые могут активировать разные нейронные пути и привести к разным ответам. Это объясняет, почему иногда "магия" промптинга заключается в замене одного-единственного слова.

• Потенциал для адаптации: Этот принцип универсален. Он применим к любой задаче: от написания кода и создания маркетинговых текстов до планирования путешествий. Механизм адаптации прост: столкнувшись с неудовлетворительным ответом, систематически меняйте элементы промпта (глаголы, существительные, структуру), как это делали исследователи, чтобы найти ту формулировку, которая работает наилучшим образом для вашей конкретной задачи.

Представим, что пользователю нужно написать рекламный пост о новом курсе по фотографии. Неудачный промпт, основанный на "телеграфном стиле", мог бы выглядеть так: "пост соцсети курс фотография для новичков купить скидка".

Хороший промпт, основанный на выводах исследования (четкость, структура, грамматика):

# Роль:

Ты — опытный копирайтер, специализирующийся на продающих текстах для социальных сетей.

# Задача:

Напиши вовлекающий рекламный пост для Instagram о новом онлайн-курсе "Основы фотографии для начинающих".

# Контекст:

- **Целевая аудитория:** Люди, которые недавно купили свою первую камеру и хотят научиться делать красивые снимки, а не просто нажимать на кнопку.
- **Основное преимущество курса:** Простое объяснение сложных технических аспектов (диафрагма, выдержка, ISO).
- **Призыв к действию (CTA):** Переход по ссылке в профиле для регистрации на курс со скидкой 20% в течение первых 3 дней.

# Требования к тексту:

- **Стиль:** Дружелюбный, мотивирующий, но без лишней фамильярности.
- **Структура:**1. Цепляющий заголовок-вопрос.
2. Описание "боли" новичка (например, "фотографии получаются темными или размытыми").
3. Краткое представление решения — нашего курса.
4. 2-3 ключевых навыка, которые получит ученик.
5. Четкий призыв к действию с упоминанием скидки.
- **Язык:** Используй эмодзи для разделения абзацев и улучшения читаемости.

# Ограничение:

Ответ должен содержать **только** текст поста. Не пиши никаких предисловий, комментариев или объяснений своей работы.

Этот промпт эффективен, потому что он полностью соответствует принципам, выявленным в исследовании, и минимизирует риски нестабильности:

• Четкая структура и грамматика: Вместо набора ключевых слов ("пост курс скидка") используется полноценное, грамматически правильное техническое задание. Это соответствует выводу о том, что структурированные промпты работают надежнее.
• Снижение двусмысленности: Детальное описание ЦА, преимуществ и требуемой структуры текста не оставляет модели пространства для "творческих" (и часто неверных) интерпретаций. Модель не угадывает, а следует четким инструкциям.
• Лексическая точность: Использование терминов вроде "вовлекающий", "призыв к действию (CTA)", "цепляющий заголовок" направляет модель на использование конкретных, проверенных маркетинговых приемов, а не общих фраз.
• Явное ограничение формата вывода: Инструкция Ответ должен содержать **только** текст поста напрямую борется с проблемой, обнаруженной исследователями, когда модель добавляет ненужные объяснения или мусорный текст.

Задача: Составить персонализированное меню питания на неделю. Неудачный промпт: "меню неделя похудение 1800 ккал без сахара".

Хороший промпт, основанный на выводах исследования:

# Роль:

Ты — профессиональный диетолог-нутрициолог.

# Задача:

Разработай подробный план питания на 3 дня (понедельник, вторник, среда) для взрослой женщины, цель которой — плавное снижение веса.

# Исходные данные:

- **Суточная калорийность:** Строго в диапазоне 1700-1800 ккал.
- **Предпочтения:** Любит курицу, рыбу, творог, овощи. Не любит гречку и печень.
- **Ограничения:** Полностью исключить добавленный сахар, белую муку и жареные на масле блюда.

# Требования к формату ответа:

Представь план в виде структурированного списка. Для каждого дня должно быть 5 приемов пищи: Завтрак, Первый перекус, Обед, Второй перекус, Ужин.
Для каждого приема пищи укажи:
1. Название блюда.
2. Примерный вес порции в граммах.
3. Примерное количество калорий.

# Пример формата для одного дня:

**Понедельник (Итого ~1750 ккал):**
- **Завтрак (400 ккал):** Овсяная каша на воде с ягодами (каша сухая - 50г, ягоды - 100г).
- **Первый перекус (150 ккал):** ...
...и так далее.

# Ограничение:

Твой ответ должен содержать исключительно план питания в указанном формате. Не добавляй общих советов по диете, вступлений или заключений.

Этот промпт следует тем же принципам надежности, что и предыдущий, в соответствии с выводами исследования:

• Синтаксическая и структурная точность: Задача описана полными предложениями. Требования к формату ответа заданы не просто словами, а наглядным примером (# Пример формата для одного дня:). Это самый надежный способ заставить модель следовать нужной структуре.
• Устранение лексической неоднозначности: Вместо общего "похудение" заданы конкретные параметры: "плавное снижение веса", "1700-1800 ккал". Вместо "без вредного" указаны точные ограничения: "исключить добавленный сахар, белую муку и жареные на масле блюда".
• Директивный характер: Использование глаголов "Разработай", "Представь", "Укажи" задает четкий, обязательный к исполнению алгоритм действий, что, как показало исследование, работает лучше, чем мягкие или размытые формулировки.
• Контроль вывода: Финальное ограничение снова отсекает любые возможные "галлюцинации" и лишнюю информацию, обеспечивая чистый и готовый к использованию результат.

• A. Релевантность техникам промтинга: Да. Исследование напрямую анализирует, как незначительные изменения в формулировках (синтаксис, лексика, модальность, структура) влияют на результат. Оно доказывает, что способ формулирования инструкции критически важен.
• B. Улучшение качества диалоговых ответов: Да. Показывает, что четкие, грамматически правильные и структурированные промпты повышают стабильность и предсказуемость ответов, а также снижают количество «непоследовательных» ответов (галлюцинаций).
• C. Прямая практическая применимость: Да. Выводы можно применить немедленно, без кода и специальных инструментов. Пользователь, прочитав это, начнет более внимательно относиться к каждому слову в своем промпте.
• D. Концептуальная ценность: Очень высокая. Исследование раскрывает фундаментальную особенность LLM — их чувствительность к поверхностной форме текста, а не только к семантическому значению. Это помогает сформировать правильную "ментальную модель" LLM: это не "собеседник, который понимает суть", а "система, которая буквально следует тексту инструкции".

• E. Новая полезная практика (кластеризация): Работа попадает сразу в несколько ключевых кластеров:

  • Кластер 2 (Поведенческие закономерности LLM): Демонстрирует гиперчувствительность модели к синтаксическим и лексическим вариациям.
  • Кластер 3 (Оптимизация структуры промптов): Экспериментально доказывает, что грамматически и структурно правильные промпты работают значительно надежнее, чем "телеграфный стиль".
  • Кластер 7 (Надежность и стабильность): Основная тема работы — это надежность (robustness). Дает прямой совет, как ее повысить: использовать четкие и грамматически выверенные инструкции.

• Чек-лист практичности (+15 баллов): Да. Раскрывает неочевидные особенности поведения LLM и предлагает способы улучшить consistency/точность ответов через осознанное формулирование промптов.

Исследование получает высокую оценку, так как его выводы носят фундаментальный характер для практического промпт-инжиниринга. Оно экспериментально доказывает то, что опытные пользователи чувствовали интуитивно: каждое слово в промпте имеет значение. Это не просто дает один конкретный прием, а меняет сам подход к написанию промптов, заставляя пользователя быть более точным и осознанным.