К эффективному комплементарному анализу безопасности с использованием больших языковых моделей

Этот промпт работает по тем же принципам, что и предыдущий, но в контексте анализа текста:

• Роль "фактчекера" активирует у модели знания о логических ошибках, риторических уловках и принципах журналистики.
• "Думай шаг за шагом" заставляет LLM не просто согласиться с эмоциональным посылом текста, а методично разобрать его на составляющие:
  1. "Абсолютно все жители" — это необоснованное обобщение (логическая ошибка).
  2. "Коррумпированные чиновники" — это серьезное обвинение, требующее доказательств, которое здесь подается как факт.
  3. "Очевидно, приведет к коллапсу" — это прогноз, который выдается за неизбежное следствие, что является манипуляцией.
• Оценка манипулятивности переводит качественный анализ в количественный показатель. Это позволяет пользователю быстро сравнивать разные фрагменты текста и фокусироваться на самых проблемных, не вчитываясь в объяснения каждого, если оценка низкая. Это прямой аналог "консервативного анализа" из статьи: мы доверяем только тем выводам модели, где она уверена и может это доказать.

Исследование предлагает использовать LLM в качестве "умного фильтра" для автоматической проверки отчетов от других инструментов (в данном случае, сканеров безопасности кода), чтобы отсеять ложные срабатывания. Для этого применяются продвинутые техники промптинга, такие как Chain-of-Thought (пошаговое рассуждение) и Self-Consistency (многократная проверка с разных сторон).

Ключевой результат: Комбинирование ответов от нескольких лучших LLM, работающих в "консервативном режиме" (не пропускающем реальные проблемы), позволяет отфильтровать до 79% ложных срабатываний, значительно экономя время экспертов.

Суть метода — заставить LLM не просто дать ответ, а выступить в роли осторожного и дотошного ассистента-аналитика. Вместо того чтобы спрашивать "здесь есть ошибка?", мы просим модель провести полноценный анализ и оценить свою уверенность.

Методика для пользователя сводится к трем шагам:

1. Предоставить полный контекст: Дать LLM всю необходимую информацию для анализа (например, исходный текст, правило, которое могло быть нарушено, и сам факт предполагаемого нарушения).
2. Заставить рассуждать по шагам: Использовать прямую инструкцию, ставшую классикой — "Думай шаг за шагом" (Think step by step). Это заставляет модель не выдавать интуитивный ответ, а выстраивать логическую цепочку, которую вы можете проверить.
3. Запросить структурированный вывод с оценкой уверенности: Вместо ответа "да/нет", попросить модель выдать два элемента:
   • Объяснение: Текстовое описание хода мыслей.
   • Оценка: Числовая шкала уверенности (например, от 0 до 10), где 10 — "абсолютно уверен в наличии проблемы", а 0 — "абсолютно уверен, что проблемы нет".

Этот подход позволяет пользователю отсеивать не только неверные, но и просто неуверенные ответы LLM, доверяя только тем выводам, которые подкреплены высокой оценкой и логичным объяснением.

• Прямая применимость: Пользователь может немедленно начать использовать предложенную структуру промпта для любых задач, требующих анализа и оценки. Например, при проверке текста на соответствие редполитике, анализе отзывов клиентов или поиске логических несостыковок в статье. Достаточно заменить контекст "уязвимости кода" на свой собственный.

• Концептуальная ценность: Главный инсайт — переход от запроса ответа к запросу процесса анализа. Пользователь учится не просто "спрашивать", а "поручать проверку". Это меняет парадигму взаимодействия с LLM: модель становится не оракулом, а инструментом для рассуждений, чьи выводы нужно верифицировать. Концепция "консервативного анализа" учит управлять рисками: лучше пусть модель оставит 10 сомнительных случаев на ручную проверку, чем пропустит одну критическую ошибку.

• Потенциал для адаптации: Метод легко адаптируется. Механизм прост:

  1. Определите, что вы хотите проверить (например, "соответствие отзыва правилам публикации").
  2. Сформулируйте роль для LLM ("Ты — опытный модератор").
  3. Подайте на вход данные ("Вот отзыв: ...") и критерии ("Вот правила: ...").
  4. Используйте шаблон из исследования: попросите пошаговое объяснение и оценку уверенности по шкале.

Представим, что вы — менеджер продукта и хотите быстро отфильтровать шквал отзывов на приложение, чтобы отделить конструктивную критику от эмоционального хейта.

**Роль:** Ты — опытный менеджер продукта, твоя задача — анализировать отзывы пользователей и находить в них конструктивные предложения по улучшению продукта.

**Контекст:**
Я получил отзыв на наше мобильное приложение для планирования путешествий "VoyagePlanner". Мне нужно понять, содержит ли этот отзыв полезную информацию или это просто неконструктивный негатив.

**Отзыв пользователя для анализа:**
"Ужасное приложение! Постоянно вылетает, когда я пытаюсь добавить фотку в свой маршрут по Италии. Карта тормозит, а интерфейс как будто из 2010 года. Зря потратил деньги! Верните!"

**Твоя задача:**
Проанализируй этот отзыв. Согласен ли ты, что в нем есть конструктивная критика, которую можно передать команде разработки?

Думай шаг за шагом.

**Формат ответа:**
Предоставь свой ответ в следующем формате:
**Объяснение:** "Давай разберем по шагам..."
**Оценка конструктивности:** [число от 0.0 до 10.0, где 10.0 — отзыв очень конструктивный и полезный, а 0.0 — это чистый хейт без полезной информации]

Этот промпт эффективен благодаря нескольким механикам, описанным в исследовании:

• Четкая роль и контекст: Промпт сразу настраивает LLM на нужный лад ("менеджер продукта", "анализ отзывов"), что повышает релевантностью ответа.
• Инструкция Chain-of-Thought ("Думай шаг за шагом"): Это заставляет модель не просто отреагировать на негативные слова ("ужасное", "зря потратил"), а декомпозировать отзыв на части: "постоянно вылетает при добавлении фото", "карта тормозит", "устаревший интерфейс". Это превращает эмоциональный выпад в список конкретных проблем.
• Структурированный вывод с оценкой: Запрос числовой оценки конструктивности заставляет модель взвесить все "за" и "против". Она поймет, что, несмотря на резкий тон, в отзыве есть три конкретных бага/предложения. Это позволяет пользователю легко отсортировать ответы: все, что выше, например, 6.0, идет в работу, остальное — в архив.

Задача: Быстро проверить небольшой фрагмент текста из новостной статьи на предмет потенциальных манипуляций или недостоверных утверждений.

**Роль:** Ты — беспристрастный фактчекер и медиа-аналитик. Твоя задача — выявлять в текстах признаки манипуляции, необоснованные обобщения и утверждения, требующие дополнительной проверки.

**Контекст:**
Я анализирую статью о новом городском законе. Мне нужно оценить, насколько объективно подан следующий абзац.

**Фрагмент текста для анализа:**
"Абсолютно все жители города возмущены новым законом о парковках, который лоббируют коррумпированные чиновники. Эта инициатива, очевидно, приведет к транспортному коллапсу и ударит по кошельку каждого добропорядочного гражданина."

**Твоя задача:**
Проанализируй этот фрагмент. Согласен ли ты, что он содержит манипулятивные или фактически сомнительные утверждения?

Думай шаг за шагом.

**Формат ответа:**
Предоставь свой ответ в следующем формате:
**Объяснение:** "Давай разберем по шагам..."
**Оценка манипулятивности:** [число от 0.0 до 10.0, где 10.0 — текст крайне манипулятивный и недостоверный, а 0.0 — текст полностью нейтральный и объективный]