Проблема: LLM выдумывает при анализе ваших документов не потому что технология сырая — а потому что вы ни разу явно не сказали ей этого не делать.

Исследование описывает создание чат-бота для специалистов по комплаенсу, который помогает им работать с большим объемом сложных юридических документов. Для этого используется технология RAG (Retrieval Augmented Generation), где модель не просто отвечает из своей общей памяти, а ищет информацию в специальной базе знаний и использует найденные фрагменты для генерации ответа. Авторы доказывают, что комбинация продвинутых методов поиска и, что самое важное, специально сконструированного промпта, значительно повышает точность и надежность ответов.

Ключевой результат: Продуманная структура промпта, которая заставляет модель сначала "подумать", а затем ответить, ссылаясь на источники и признавая нехватку информации, является критически важным элементом для создания надежного RAG-помощника.

Суть метода для обычного пользователя заключается в переходе от простого промпта "вопрос-ответ" к многокомпонентной инструкции, которая управляет поведением LLM. Вместо того чтобы просто задать вопрос, вы создаете для модели целое "техническое задание" в рамках одного промпта.

Методика, представленная в исследовании, состоит из трех ключевых частей, которые нужно явно разделить в своем запросе:

1. Задача пользователя (User Question): Ваш основной вопрос или задача.
2. Блок инструкций (Instruction Block): Самая важная часть. Это мета-инструкции для LLM, которые говорят ей, как думать и как форматировать ответ. Этот блок включает в себя:
   • "Подумай, прежде чем ответить" (Chain-of-Thought): Инструкция Before answering the question, lay out your full thought process... заставляет модель сначала проанализировать запрос и составить план ответа. Это резко снижает вероятность импульсивных, неверных ответов.
   • "Не выдумывай" (Anti-Hallucination Guardrail): Прямое указание If you cannot answer... state that the information is not present, don’t invent or hallucinate служит "ограничителем", который учит модель признавать свое незнание вместо того, чтобы придумывать факты.
   • "Ссылайся на источники" (Grounding & Citation): Требование After each fact you state, provide the corresponding document name... заставляет модель привязывать каждое свое утверждение к конкретному фрагменту из предоставленного текста. Это повышает достоверность и позволяет пользователю легко проверить информацию.
3. Блок с данными (Context Block): Это место, куда вы вставляете текст (статью, отчет, отзывы, транскрипцию встречи), на основе которого модель должна сгенерировать ответ. Четкое отделение данных с помощью тегов вроде помогает модели понять, что является "правдой" для текущей задачи.

Таким образом, вы не просто спрашиваете, а программируете модель на определенный, более надежный и структурированный способ работы с информацией.

• Прямая применимость: Очень высокая. Пользователь может скопировать структуру промпта из статьи, заменить {user_question} и {retrieved_chunks} на свои данные и сразу получить более качественный результат. Это особенно полезно для задач анализа и суммирования собственных текстов (статей, отчетов, писем), которые можно вставить в контекст промпта.

• Концептуальная ценность: Огромная. Исследование наглядно демонстрирует, что LLM — это не "черный ящик", а система, поведением которой можно и нужно управлять с помощью четких инструкций. Оно учит пользователя фундаментальному принципу: отделяйте данные от инструкций по их обработке. Это помогает понять, почему модель иногда "галлюцинирует" (потому что ей не дали инструкцию этого не делать) и как заставить ее давать структурированные ответы.

• Потенциал для адаптации: Максимальный. Шаблон из статьи — это универсальный каркас. Его можно легко адаптировать для любой задачи:

  • Анализ отзывов: изменить формат цитирования на (отзыв №5).
  • Суммирование встречи: изменить инструкцию на "Выдели ключевые решения и ответственных".
  • Создание контент-плана: изменить инструкцию на "Проанализируй статью и предложи 5 тем для постов в блог со ссылками на соответствующие абзацы".

Представим, что маркетолог хочет проанализировать отзывы клиентов на новый продукт, чтобы подготовить отчет для руководства.

Проанализируй отзывы клиентов и подготовь краткую сводку по основным преимуществам и недостаткам продукта.


Прежде чем дать окончательный ответ, изложи свой план действий и проанализируй мой запрос.
Твой ответ должен быть на русском языке.
Твоя задача — выделить основные сильные и слабые стороны продукта, упомянутые в отзывах.
После каждого тезиса (преимущества или недостатка) ты должен указать в скобках номер отзыва, из которого взята эта информация. Например: "Батарея держит очень долго" (Отзыв 3).
Если в отзывах нет информации о каком-то аспекте (например, о качестве упаковки), прямо укажи: "Информация об упаковке в предоставленных отзывах отсутствует". Не придумывай и не делай предположений.
Сгруппируй все преимущества в раздел "Преимущества", а все недостатки — в раздел "Недостатки".



[Отзыв 1]
"Камера просто великолепна, снимки как на профессиональный фотоаппарат! Но корпус очень скользкий, без чехла носить невозможно. Экран яркий, цвета сочные."

[Отзыв 2]
"Очень разочарован батареей. Еле доживает до вечера при среднем использовании. Зато работает очень быстро, приложения открываются мгновенно. Камера хорошая, но не вау."

[Отзыв 3]
"Лучший телефон за свои деньги. Производительность на высоте, ничего не тормозит. Батареи хватает на полтора дня спокойно. Единственный минус — нет разъема для наушников, это неудобно."

[Отзыв 4]
"Экран — его главное достоинство. Смотреть видео одно удовольствие. А вот камера снимает средне, ожидал большего. Корпус маркий, постоянно в отпечатках."

Этот промпт эффективен благодаря комбинации нескольких механик, описанных в исследовании:

1. Предварительное мышление (Chain-of-Thought): Фраза Прежде чем дать окончательный ответ, изложи свой план действий... заставляет LLM сначала декомпозировать задачу (1. Прочитать все отзывы. 2. Найти упоминания плюсов. 3. Найти упоминания минусов. 4. Сгруппировать их. 5. Отформатировать ответ с цитатами), что повышает логичность и полноту итогового ответа.
2. Структурирование и разметка: Использование тегов и четко разделяет для модели, где находятся правила игры, а где — сами данные. Это снижает вероятность того, что модель перепутает инструкцию с частью анализируемого текста.
3. Заземление (Grounding): Требование указать в скобках номер отзыва заставляет модель не просто обобщать, а находить конкретное подтверждение каждому своему слову в исходном тексте. Это делает ответ проверяемым и более достоверным.
4. Инструкция-ограничитель: Указание Не придумывай и не делай предположений напрямую борется с тенденцией LLM "додумывать" информацию, повышая фактическую точность ответа.

HR-специалист хочет быстро получить основные выводы из транскрипции выходного интервью с уволившимся сотрудником.

Проанализируй текст выходного интервью и выдели ключевые причины увольнения, а также предложения по улучшению рабочих процессов.


Твой ответ должен быть на русском языке.
Перед тем как дать финальный ответ, кратко опиши свой план анализа текста.
Твоя задача — структурировать информацию из интервью по двум категориям: "Причины увольнения" и "Предложения по улучшению".
Для каждого пункта в обеих категориях приведи короткую цитату из текста в кавычках и укажи номер абзаца в скобках, например: (Абзац 3).
Если сотрудник не давал конкретных предложений, в соответствующем разделе напиши: "Конкретных предложений по улучшению не поступало". Не выдумывай информацию.
Ответ должен быть оформлен в виде маркированных списков.



[Абзац 1]
"В целом, коллектив у нас был хороший, я со многими дружил. Но основная причина моего ухода — это отсутствие возможностей для карьерного роста. Я проработал на одной должности три года, и никаких перспектив повышения мне так и не обозначили."

[Абзац 2]
"Еще один момент — это постоянные переработки, которые никак не компенсировались. Последние полгода я регулярно задерживался на 2-3 часа. Это сильно выматывает. Руководство знало, но мер не принимало."

[Абзац 3]
"Если говорить о том, что можно было бы улучшить... Я думаю, компании стоит внедрить более прозрачную систему грейдов и карьерных треков. Чтобы люди понимали, что им нужно сделать для роста. Также было бы здорово наладить систему учета переработок и их оплаты или предоставления отгулов."

[Абзац 4]
"К задачам у меня претензий нет, они были интересные. Но вот ощущение, что ты стоишь на месте, убивает всю мотивацию. Надеюсь, на новом месте с этим будет лучше."

Этот промпт работает по тем же фундаментальным принципам, что и предыдущий, но адаптирован под другую задачу:

1. Декомпозиция задачи: Модель сначала составляет план (найти причины, найти предложения, сгруппировать, отформатировать), что обеспечивает системный подход к анализу текста.
2. Четкое разделение ролей: Теги и помогают модели не смешивать правила с данными. Она понимает, что текст в — это источник фактов, а текст в — это алгоритм действий.
3. Принудительное цитирование: Требование приводить цитату и номер абзаца заставляет модель не просто пересказывать, а извлекать и точно локализовывать информацию. Это гарантирует, что выводы HR-специалиста будут основаны на реальных словах сотрудника, а не на интерпретации модели.
4. Структурированный вывод: Запрос на вывод в виде маркированных списков по категориям ("Причины увольнения", "Предложения по улучшению") экономит время пользователя, так как информация уже отсортирована и готова для включения в отчет или дальнейшего анализа.