Исследование: An AI-Based Behavioral Health Safety Filter and Dataset for Identifying Mental Health Crises in Text-Based Conversations

Исследование показывает, что стандартные фильтры безопасности в популярных LLM (как у OpenAI) плохо справляются с распознаванием настоящих ментальных кризисов в сообщениях пользователей. Авторы разработали и протестировали специализированный фильтр (VBHSF), который оказался значительно точнее в выявлении таких угроз, как суицидальные настроения или селф-харм, по сравнению с универсальными "защитниками".

Ключевой результат: Специализированные, "заточенные" под конкретную задачу системы безопасности намного превосходят общие фильтры, встроенные в LLM, в распознавании нюансированных и опасных состояний человека.

Суть исследования не в методе написания промтов, а в концепции, которую оно доказывает: LLM-система — это не единый "мозг". Перед тем как ваш промт попадет к основной креативной модели, он проходит через более простой и грубый "фильтр-классификатор". Этот фильтр быстро решает: "этот запрос безопасен или он нарушает правила?".

Проблема в том, что эти общие фильтры (как показало исследование) довольно примитивны. Они могут среагировать на ключевые слова (например, "смерть", "насилие"), не вникая в контекст. Например, запрос писателя "напиши сцену, где герой думает о бессмысленности жизни" может быть заблокирован, потому что фильтр увидел "опасные" маркеры.

Практический вывод для пользователя — необходимо формулировать промт так, чтобы он успешно прошел этот первый, примитивный фильтр. Вместо того чтобы напрямую запрашивать чувствительную тему, ее нужно "обернуть" в безопасный контекст: академический, исследовательский, творческий или гипотетический. Вы должны своим промтом доказать системе, что ваш интерес — конструктивный, а не деструктивный. Вы как бы говорите фильтру: "Не волнуйся, я здесь с добрыми намерениями, мы просто анализируем сложную тему".

• Прямая применимость: Нулевая. Пользователь не может использовать описанный в статье фильтр VBHSF или напрямую повлиять на работу встроенного модератора OpenAI/Claude.

• Концептуальная ценность: Очень высокая. Исследование дает пользователю критически важное понимание: "Мой промт оценивают дважды: сначала грубый 'охранник' на входе, а потом умный 'собеседник'". Это объясняет 90% случаев, когда LLM отказывается отвечать на, казалось бы, безобидный запрос на сложную тему. Это знание позволяет перестать "бодаться" с моделью и начать формулировать запросы умнее.

• Потенциал для адаптации: Высокий. Концепцию "обхода фильтра" можно адаптировать для любой чувствительной темы, не только ментального здоровья. Это может касаться исторических событий, политики, медицины, описания конфликтов в художественной литературе. Механизм адаптации прост: переформулировать запрос из прямого приказа в безопасную ролевую игру или исследовательскую задачу.

Представим, что сценарист хочет написать диалог для фильма, где два бывших партнера обсуждают свои токсичные отношения в прошлом. Прямой запрос может быть воспринят фильтром как поощрение "абьюза".

Ты — опытный сценарист и психолог-консультант. Твоя задача — помочь мне написать реалистичную и поучительную сцену для сценария.

**Контекст:**
Я работаю над фильмом о личностном росте. Главные герои, Анна и Марк, расстались год назад из-за токсичных отношений, где присутствовал эмоциональный контроль и манипуляции со стороны Марка. Теперь они случайно встретились и впервые говорят об этом открыто.

**Задача:**
Напиши короткий диалог (5-7 реплик с каждой стороны), в котором:
1.  Анна спокойно, но твердо указывает на конкретные примеры манипулятивного поведения Марка в прошлом (например, "когда ты говорил, что все мои друзья плохо на меня влияют").
2.  Марк сначала пытается защищаться, но потом признает свою неправоту.
3.  **Важно:** Диалог должен не прославлять токсичное поведение, а **показывать здоровый способ проговорить и закрыть травмирующий опыт**. Цель сцены — терапевтическая и образовательная для зрителя.

**Ограничения:**
*   Не используй оскорблений.
*   Фокусируйся на психологии персонажей, а не на обвинениях.
*   Финал диалога должен быть конструктивным, пусть и грустным.

Этот промт работает, потому что он заранее "обезвреживает" потенциально опасную тему для примитивного фильтра безопасности LLM.

• Безопасная роль: "Ты — опытный сценарист и психолог-консультант". Это сразу задает конструктивный и профессиональный фреймворк.
• Благородная цель: "Фильм о личностном росте", "терапевтическая и образовательная для зрителя цель". Промт явно декларирует позитивное намерение, что успокаивает фильтр.
• Четкие ограничения: "Не прославлять токсичное поведение", "не используй оскорблений". Эти инструкции напрямую говорят модели, что нужно избегать генерации вредоносного контента.

Вместо того чтобы просто сказать "напиши диалог про абьюз", мы создали безопасную "песочницу" для модели, в которой она может исследовать сложную тему, не нарушая своих базовых правил.

Представим, что студент-историк хочет изучить пропагандистские техники, которые использовались во время Холодной войны, для своего реферата.

Выступи в роли профессора истории, специализирующегося на периоде Холодной войны и медиа-анализе.

**Контекст:**
Я готовлю научный реферат на тему "Сравнительный анализ пропагандистских плакатов СССР и США в 1950-1960-х годах". Моя цель — не принять чью-либо сторону, а объективно проанализировать методы визуального убеждения.

**Задача:**
Предоставь мне структурированный анализ. Для каждой из сторон (СССР и США) выдели 3-4 ключевые пропагандистские темы, которые изображались на плакатах того времени.

**Пример для одной темы:**
*   **Тема:** "Образ врага".
*   **Как изображалось в СССР:** (например, карикатурный капиталист, поджигатель войны).
*   **Как изображалось в США:** (например, безликий коммунистический медведь, угроза свободе).

**Требования к ответу:**
*   Сохраняй строго нейтральный, академический тон.
*   Не генерируй лозунги или оскорбительные утверждения, а только описывай исторические артефакты и их посыл.
*   Структурируй ответ в виде списка или таблицы для наглядности.

Этот промт эффективен, так как он переводит потенциально политически чувствительный запрос в безопасное академическое русло, понятное для фильтра LLM.

• Академическая роль: "Профессор истории" и "медиа-аналитик" — это роли, предполагающие объективность и нейтральность.
• Четкая цель исследования: "Научный реферат", "объективно проанализировать методы". Это сигнализирует системе, что пользователь не пытается создать политическую агитацию.
• Предоставление структуры и примера: Запрос не просто просит "рассказать о пропаганде", а дает четкую структуру ("Тема", "Как изображалось"), что направляет модель на аналитическую, а не на оценочную работу.
• Прямые запреты: Указание "сохраняй нейтральный тон" и "не генерируй лозунги" служит прямым указанием для модели, как избежать нарушения правил безопасности.

Таким образом, промт создает безопасную среду для обсуждения сложной исторической темы, фокусируясь на анализе, а не на воспроизведении потенциально враждебного контента.

• A. Релевантность техникам промтинга: Низкая. В исследовании упоминается "продвинутый промт-инжиниринг" как часть их решения, но не раскрываются сами техники.
• B. Улучшение качества диалоговых ответов: Низкое. Исследование сфокусировано на классификации входящих сообщений (опасно/безопасно), а не на улучшении качества генерируемых ответов.
• C. Прямая практическая применимость: Очень низкая. Пользователь не может использовать описанный фильтр (VBHSF), так как это проприетарный инструмент. Выводы касаются сравнения моделей-модераторов, а не техник написания промтов.
• D. Концептуальная ценность: Высокая. Исследование блестяще раскрывает, что у LLM есть "внутренние фильтры безопасности", которые работают отдельно от генерации ответа. Оно объясняет, почему эти фильтры часто ошибаются на сложных темах (например, ментальное здоровье) и почему пользователь может получать общие отписки или отказы.
• E. Новая полезная практика (кластеризация): Работа попадает в кластеры 2 (Поведенческие закономерности LLM) и 7 (Надежность и стабильность), так как раскрывает поведение внутренних систем модерации и их влияние на надежность ответов в чувствительных темах.
• Чек-лист практичности (+15 баллов): Да, исследование раскрывает неочевидные особенности поведения LLM, а именно — наличие и несовершенство внутренних "фильтров безопасности", которые срабатывают до генерации ответа. Это дает +15 баллов к базовой оценке.

Базовая оценка находится в диапазоне "Любопытно, но не очень практично" (около 45 баллов), так как прямых техник для промптинга нет. Однако, благодаря высокой концептуальной ценности и бонусу в 15 баллов за раскрытие неочевидного поведения LLM, итоговая оценка повышается до 60.

Аргументы за оценку: Оценка 60 отражает баланс между нулевой прямой применимостью и очень высокой концептуальной пользой. Исследование не учит, что писать в промте, но оно фундаментально объясняет, почему LLM иногда реагирует неадекватно, отказывается отвечать или выдает шаблонные предупреждения. Это знание помогает пользователю сформировать правильную "ментальную модель" LLM как системы, состоящей из нескольких частей (модератор + генератор), и адаптировать свои запросы, чтобы не "пугать" примитивный фильтр безопасности.

Контраргументы: * Почему оценка могла быть выше (до 70)? Понимание механики "фильтров безопасности" — это ключевой, но часто упускаемый аспект промт-инжиниринга. Осознав это, продвинутый пользователь может научиться "обходить" эти фильтры, формулируя запросы в академическом, гипотетическом или творческом ключе. Эта концептуальная база настолько важна, что может быть оценена выше. * Почему оценка могла быть ниже (до 40)? Если оценивать исследование строго с позиции "дает ли оно готовые фразы для промта", то ответ — нет. Для пользователя, который ищет быстрые и конкретные "хаки" для улучшения своих промтов, эта работа бесполезна. Она требует осмысления и не дает немедленного результата.