ChineseHarm-Bench - Бенчмарк для обнаружения вредоносного контента на китайском языке.

Исследователи создали бенчмарк (набор данных) для оценки способности LLM выявлять вредоносный контент на китайском языке. Они обнаружили, что эффективность всех моделей, включая самые продвинутые, значительно возрастает, если в промпт добавлять явный набор правил и определений. Этот подход, названный "обогащение знанием" (knowledge augmentation), позволяет даже небольшим моделям достигать результатов, сопоставимых с гигантами вроде GPT-4.

Ключевой результат: Явное добавление набора правил в промпт значительно повышает точность классификации контента языковыми моделями.

Суть метода, полезного для обычного пользователя, заключается в подходе, который можно назвать"Промптинг на основе правил" (Rule-Based Prompting).

Вместо того чтобы давать модели общую задачу и надеяться, что она "поймет" все нюансы, вы сначала предоставляете ей четкий и структурированный свод правил, определений, критериев или ограничений, которым должен соответствовать конечный результат. Исследование доказывает, что такой подход работает гораздо эффективнее, потому что он сужает "пространство для догадок" модели и направляет ее внимание на конкретные, важные для вас аспекты.

Методика для пользователя сводится к простому алгоритму: 1. Определите "правила игры": Перед тем как писать основную часть промпта, подумайте, каковы критерии успеха для вашей задачи? Что должно быть в ответе? Чего там быть не должно? Какой должен быть стиль, формат, структура? 2. Сформулируйте правила: Запишите эти критерии в виде четкого списка. Используйте простые и однозначные формулировки. 3. Структурируйте промпт: Включите этот список в свой промпт, явно отделив его от самой задачи. Используйте заголовки, например: ### Правила, ### Критерии оценки, ### Инструкции по форматированию. 4. Сформулируйте задачу: После блока с правилами дайте модели основное задание, ссылаясь на эти правила.

Этот метод превращает вас из пассивного просителя в активного инструктора, что кардинально меняет качество и предсказуемость результата.

*Прямая применимость:

Максимальная. Пользователь может немедленно начать использовать этот подход. Вместо промпта "Напиши пост для соцсетей про наш новый продукт" можно использовать структурированный промпт, включающий блок `### Правила для поста`, где перечислены целевая аудитория, ключевые сообщения, запрещенные слова и желаемый тон. Это не требует никаких технических навыков.

• Концептуальная ценность: Фундаментальная. Исследование помогает избавиться от иллюзии, что LLM — это "собеседник, который все понимает". Оно формирует понимание LLM как мощной, но слепой системы, которая следует инструкциям. Ключевая концептуальная идея: качество результата прямо пропорционально качеству и четкости предоставленных инструкций (правил). Модель не "рассуждает" в вакууме, она "рассуждает" в рамках заданного вами контекста.

• Потенциал для адаптации: Огромный. Механизм легко адаптируется под любую задачу.

  • Задача: Написать email. Адаптация: В "Правилах" указать тон (формальный/дружелюбный), обязательные пункты для упоминания, желаемый призыв к действию.
  • Задача: Проанализировать отзыв клиента. Адаптация: В "Правилах" перечислить аспекты для анализа (упоминание продукта, тон, эмоции, конкретные проблемы).
  • Задача: Сгенерировать идеи для статьи. Адаптация: В "Правилах" указать целевую аудиторию, ключевые слова для SEO, желаемую структуру и запретные темы.

  Механизм адаптации прост: меняется не структура промпта (Правила + Задача), а содержание блока "Правила".

Этот промпт эффективен, потому что он напрямую применяет метод "обогащения знанием", описанный в исследовании.

• Явные инструкции (Правила): Вместо того чтобы модель сама догадывалась, каким должен быть "хороший анонс", мы даем ей исчерпывающую "базу знаний" для этой конкретной задачи. Блок ### Контекст и Правила — это аналог knowledge rule base из статьи.
• Снижение неопределенности: Пункты про аудиторию, тон и структуру задают четкие рамки. Модель не будет генерировать текст для опытных разработчиков или использовать неуместный формальный стиль.
• Контроль над результатом: Пункт "Что НЕ делать" работает как негативный фильтр, предотвращая появление нежелательных и банальных фраз, которые LLM часто используют по умолчанию.
• Структурирование задачи: Четкое разделение на Роль, Задачу и Правила помогает модели лучше понять контекст и последовательность выполнения инструкций, что повышает итоговую релевантность и качество текста.

Этот пример работает благодаря тем же принципам, что и предыдущий, но с акцентом на извлечение и структурирование информации.

• Предопределенный формат (knowledge rule base): Самое важное здесь — это пункт ### Правила и формат вывода. Он не просто просит "сделать саммари", а дает модели точную "базу знаний" о том, что считается правильным саммари в данном контексте. Структура Ключевые решения / План действий / Открытые вопросы — это и есть те самые "правила", которые направляют модель.
• Задача трансформации, а не генерации: Промпт переводит задачу из творческой "напиши" в аналитическую "проанализируй, отфильтруй и разложи по полочкам". Модель вынуждена не придумывать, а находить в тексте нужные сущности (решения, задачи, ответственных) и помещать их в заданные ячейки.
• Четкие фильтры (Критерии фильтрации): Инструкции "игнорируй шутки", "игнорируй small talk" выполняют роль ограничителей, которые резко повышают релевантность вывода. Это заставляет модель отсекать 90% ненужной информации и фокусироваться на сигнале, а не на шуме, что является ключевой проблемой при обработке реальных диалогов.

• A. Релевантность техникам промтинга: Да. Исследование напрямую демонстрирует эффективность добавления в промпт блока с явными правилами (knowledge rule base). Это конкретная и переносимая техника.
• B. Улучшение качества диалоговых ответов: Опосредованно, да. Хотя исследование сфокусировано на классификации, его основной вывод — "явные инструкции улучшают результат" — напрямую применим для повышения точности и релевантности ответов в диалогах.
• C. Прямая практическая применимость: Высокая. Пользователь может немедленно применить основной принцип (добавление блока с правилами в промпт) без какого-либо кода или специальных инструментов. Основной метод статьи (создание синтетических данных и дообучение) пользователю недоступен, но zero-shot метод с правилами — абсолютно доступен.
• D. Концептуальная ценность: Очень высокая. Исследование наглядно доказывает, что даже самые мощные LLM (как GPT-4o) не "читают мысли" и нуждаются в четких, явных определениях и правилах для конкретной задачи. Это помогает сформировать у пользователя правильную "ментальную модель" LLM как инструмента, требующего точных инструкций.
• E. Новая полезная практика (кластеризация): Работа попадает в несколько ключевых кластеров:
  • Кластер 1 (Техники формулирования): Демонстрирует "промптинг на основе правил".
  • Кластер 3 (Оптимизация структуры): Показывает пользу от четкого разделения инструкций (правил) и данных (текста для анализа).
  • Кластер 7 (Надежность и стабильность): Основная цель — повысить надежность классификации и снизить ошибки.
• Чек-лист практичности: Дает готовые конструкции (Правила: {правила}, Текст: {текст}). Показывает, как структурировать запрос. Раскрывает неочевидное поведение LLM (значительное падение качества без явных правил). Предлагает способ улучшить точность. (+15 баллов к базовой оценке).

Исследование получает высокую оценку, так как его ключевой вывод — один из самых фундаментальных и практически полезных принципов промпт-инжиниринга, подкрепленный количественными данными.