3,583 papers
arXiv:2507.17543 93 24 июля 2025 г. FREE

Парадокс: лучший способ проверить честность собеседника — попросить LLM сыграть за него роль мошенника.

КЛЮЧЕВАЯ СУТЬ
Парадокс: лучший способ проверить честность собеседника — попросить LLM сыграть за него роль мошенника. Фреймворк ASR даёт возможность раскусить манипуляцию в переписке, даже когда вы уже начали верить собеседнику. Фишка: вы не спрашиваете «это обман?» — вы просите модель предсказать следующий ход афериста, а потом сравниваете с реальностью. Совпало — схема. Не совпало — возможно, всё честно.
Адаптировать под запрос

Исследование представляет фреймворк ASR (Anticipate, Simulate, Reason), который использует большие языковые модели, чтобы помочь обычным пользователям распознавать мошеннические схемы в мессенджерах. Фреймворк состоит из трех частей: "Anticipate" (предсказание следующего хода мошенника), "Simulate" (создание реалистичной модели-мошенника для тренировки) и "Reason" (объяснение, почему диалог является подозрительным).

Ключевой результат: Предоставление пользователю симуляции вероятного ответа мошенника ("Anticipate") и пошагового логического разбора диалога ("Reason") значительно повышает его способность распознавать обман, особенно в сложных и неочевидных случаях.

Суть метода, с точки зрения пользователя, заключается в использовании LLM не как поисковика, а как двух мощных инструментов: симулятора и аналитика-критика. Вместо того чтобы просто спрашивать "это мошенничество или нет?", вы заставляете модель работать на более глубоком уровне.

  1. Метод "Anticipate" (Предсказание/Симуляция): Вы даете LLM роль мошенника и просите его, основываясь на текущем диалоге, предсказать, какой следующий шаг сделает аферист для обмана. Затем вы сравниваете это предсказание с реальным ответом человека, с которым общаетесь. Если ответы совпадают — это серьезнейший повод насторожиться. Этот прием ломает психологическую ловушку (т.н. "эффект якоря"), когда вы уже начали верить собеседнику и ищете подтверждения его честности. LLM предоставляет вам "альтернативную реальность", которая отрезвляет.

  2. Метод "Reason" (Объяснение/Анализ): Вы просите LLM не просто вынести вердикт, а выступить в роли эксперта по безопасности и пошагово объяснить, какие именно фразы, приемы или просьбы в диалоге являются типичными для мошенников. Модель подсвечивает тактики давления, создание срочности, нелогичные просьбы и другие "красные флаги", которые вы могли пропустить. Это не только помогает в конкретной ситуации, но и обучает вас распознавать подобные уловки в будущем.

Практически это означает, что для проверки любого подозрительного диалога вы используете LLM для получения двух типов вывода: прогноза негативного сценария и детального анализа уже произошедшего.

  • Прямая применимость: Очень высокая. Пользователь может легко адаптировать оба ключевых метода ("Anticipate" и "Reason") для своих нужд. Для этого достаточно открыть окно ChatGPT/Claude/Gemini, вставить подозрительный текст и сформулировать промпт, основанный на идеях исследования. Не требуется никакого кода или специальных инструментов.

  • Концептуальная ценность: Огромная. Исследование учит пользователя фундаментально новому подходу к взаимодействию с LLM:

    • LLM как "Красная команда" (Red Team): Можно использовать модель для атаки на собственные идеи или для поиска уязвимостей в предложении, которое вам делают.
    • Преодоление когнитивных искажений: Симуляция альтернативного (негативного) исхода помогает бороться с предвзятостью подтверждения и излишним оптимизмом.
    • Структурированный анализ: Требование пошагового объяснения ("Reason") превращает LLM из "черного ящика" в понятный аналитический инструмент.
  • Потенциал для адаптации: Максимальный. Хотя исследование сфокусировано на мошенничестве, этот фреймворк универсален.

    • Анализ вакансии: "Проанализируй это предложение о работе. Объясни, какие пункты выглядят подозрительно. Предскажи, о каких скрытых условиях или проблемах я могу узнать позже".
    • Переговоры о цене: "Вот переписка с продавцом. Объясни, какие манипулятивные техники он использует. Предскажи его следующий аргумент, если я откажусь от его цены".
    • Маркетинг: "Проанализируй этот рекламный текст. Объясни, какие психологические триггеры он использует. Предскажи, на какой следующий шаг он подталкивает клиента". Механизм адаптации прост: вы меняете роль ("мошенник" на "нечестный работодатель", "хитрый продавец") и контекст, сохраняя двухчастную структуру промпта: "Проанализируй и объясни" + "Предскажи следующий шаг".
Ты — опытный эксперт по кибербезопасности и борьбе с онлайн-мошенничеством. Твоя задача — помочь мне проанализировать подозрительное сообщение о сдаче квартиры.

**КОНТЕКСТ:**
Я нашел на сайте объявлений квартиру по очень привлекательной цене. Вот моя переписка с "владельцем" по имени "Петер":

> **Я:** Здравствуйте, интересует квартира по вашему объявлению. Актуально?
> **Петер:** Добрый день! Да, актуально. Квартира свободна, фото реальные. Я сейчас нахожусь в другом городе по работе, поэтому показать лично не могу. Но можем все оформить дистанционно. Квартира пользуется большим спросом, у меня уже 3 человека готовы внести залог сегодня.
> **Я:** А как можно посмотреть? Может, у вас есть доверенное лицо?
> **Петер:** К сожалению, все родственники тоже уехали. Но не волнуйтесь! Мы можем использовать безопасную сделку через сервис AirBNB-Гарант. Вы переводите им залог и оплату за первый месяц, они замораживают деньги. Я высылаю вам ключи экспресс-почтой. Вы заселяетесь, и если все в порядке, подтверждаете сделку, и только тогда я получаю деньги. Если что-то не так — AirBNB-Гарант вернет вам всю сумму. Это 100% безопасно для вас. Чтобы начать, мне нужен ваш email, я вышлю вам ссылку на оплату.

**ТВОЯ ЗАДАЧА:**

1.  **АНАЛИЗ ("Reason"):** Внимательно изучи ответ "Петера". Пошагово, в виде списка, объясни, какие именно фразы и приемы здесь являются классическими признаками мошенничества. Обоснуй, почему каждый из этих пунктов должен вызывать подозрение.

2.  **ПРОГНОЗ ("Anticipate"):** Основываясь на своем опыте, предскажи, что произойдет дальше, если я соглашусь и дам свой email. Опиши вероятный следующий шаг мошенника.

Этот промпт эффективен, потому что он в точности реализует практические выводы из исследования ASR:

  • Четкая роль и задача: Промпт начинается с присвоения LLM роли "эксперта по кибербезопасности". Это настраивает модель на генерацию ответа в нужном стиле и с нужным уровнем критичности.
  • Структурированная инструкция ("Reason"): Вместо общего вопроса "это обман?", промпт требует пошагового анализа в виде списка. Это заставляет LLM деконструировать сообщение мошенника и идентифицировать конкретные тактики:
    • создание срочности ("3 человека готовы внести залог")
    • невозможность личной встречи ("я в другом городе")
    • использование поддельного гаранта ("AirBNB-Гарант", которого не существует для долгосрочной аренды)
    • давление на безопасность ("100% безопасно для вас")
  • Прогноз негативного сценария ("Anticipate"): Запрос "предскажи, что произойдет дальше" заставляет LLM симулировать следующий этап мошеннической схемы. Модель, скорее всего, опишет, что на почту придет фишинговая ссылка, ведущая на поддельный сайт, имитирующий Airbnb, где и будут украдены данные карты и деньги. Это дает пользователю не абстрактное предупреждение, а конкретный сценарий, которого следует ожидать и избегать.
Ты — опытный HR-директор и карьерный консультант с 20-летним стажем. Ты скептически относишься к предложениям, которые звучат слишком хорошо, чтобы быть правдой.

**КОНТЕКСТ:**
Я получил следующее письмо на почту после отклика на вакансию "Менеджер по работе с контентом" на крупном сайте по поиску работы.

> **Тема:** Приглашение на следующий этап отбора | Компания "Global Innovate Solutions"
>
> Уважаемый кандидат,
>
> Мы рассмотрели ваше резюме и впечатлены вашим опытом! Мы хотели бы пригласить вас на следующий этап.
>
> Наша компания быстро растет, и мы ищем амбициозных людей. Следующий этап — это не стандартное собеседование, а прохождение нашего эксклюзивного обучающего онлайн-курса "Основы цифрового маркетинга 2.0". Этот курс является обязательным для всех кандидатов, так как он знакомит с нашими уникальными методиками работы.
>
> Стоимость курса — 4500 рублей. Но не волнуйтесь! Эта сумма является своего рода "страховым депозитом". После успешного прохождения курса и принятия на работу, мы **полностью компенсируем** вам эту стоимость в первой же зарплате. Это позволяет нам отсеять немотивированных кандидатов и инвестировать только в тех, кто действительно серьезно настроен.
>
> Пожалуйста, пройдите по ссылке [ссылка на сайт] для оплаты и начала обучения. Места на курсе ограничены, рекомендуем принять решение в течение 24 часов.
>
> С уважением,
> Отдел подбора персонала,
> Global Innovate Solutions

**ТВОЯ ЗАДАЧА:**

1.  **АНАЛИЗ ("Reason"):** Проанализируй это письмо. В виде списка, по пунктам, объясни, какие элементы в этом "предложении" являются тревожными сигналами и признаками недобросовестного работодателя или мошеннической схемы.

2.  **ПРОГНОЗ ("Anticipate"):** Предскажи, что, скорее всего, произойдет после того, как кандидат оплатит этот курс. Каков наиболее вероятный исход этой ситуации?

Этот пример работает по тем же принципам, что и предыдущий, демонстрируя универсальность фреймворка ASR.

  • Смена перспективы через роль: Задание роли "опытного HR-директора" мгновенно переключает LLM в режим критического анализа с точки зрения рынка труда и корпоративных норм. Модель знает, что легитимные компании никогда не просят деньги за трудоустройство.
  • Деконструкция ("Reason"): Промпт заставляет модель вычленить и объяснить конкретные "красные флаги", характерные для мошенничества с трудоустройством:
    • Платное трудоустройство: Прямое требование денег от кандидата.
    • Ложная срочность: "Места ограничены", "решение в течение 24 часов".
    • Нелогичное обоснование: "Страховой депозит" для отсева "немотивированных" — это нонсенс в HR-практике.
  • Прогнозирование исхода ("Anticipate"): Запрос на прогноз заставляет модель описать типичный финал такой схемы: после оплаты курса "работодатель" либо исчезнет, либо пришлет бесполезные материалы, а о приеме на работу и "компенсации" речи уже не пойдет. Это превращает смутное подозрение пользователя в четкое понимание последствий.
📌

Основные критерии оценки

  • Предварительный фильтр: Исследование полностью сфокусировано на анализе и генерации текстовых диалогов для выявления мошенничества. Оно проходит фильтр.
  • A. Релевантность техникам промтинга: Высокая. Компонент "Reason" напрямую использует структурированный промпт для анализа и объяснения. Концепция "Anticipate" предлагает мощную идею для промптинга — симуляцию ответа оппонента.
  • B. Улучшение качества диалоговых ответов: Очень высокое. Хотя исследование не улучшает ответы LLM в общем смысле, оно кардинально улучшает качество анализа, который пользователь может получить от LLM для принятия реальных решений.
  • C. Прямая практическая применимость: Смешанная, но в целом высокая.
    • Компонент "Reason" (Объяснение) — 100% применим. Пользователь может скопировать промпт и диалог в любой чат-бот.
    • Компонент "Anticipate" (Предсказание) — 100% применим концептуально. Пользователь может вручную симулировать этот подход в отдельном окне чата.
    • Компонент "Simulate" (Создание ScamGPT-J) — 0% применим для обычного пользователя, так как требует дообучения модели (fine-tuning).
  • D. Концептуальная ценность: Исключительно высокая. Исследование дает пользователю новую "ментальную модель" использования LLM: не как всезнающего оракула, а как симулятора различных ролей (мошенник, эксперт) и как инструмента для деконструкции логики. Идея противодействия "эффекту якоря" с помощью симуляции — это мощный концепт.
  • E. Новая полезная практика: Работа попадает сразу в несколько кластеров:
    • 1. Техники формулирования промптов: Прямо предлагает структурированную инструкцию ("Reason") и ролевую игру ("Anticipate").
    • 2. Поведенческие закономерности LLM: Демонстрирует способность LLM эффективно симулировать специфические поведенческие паттерны (поведение мошенника).
    • 7. Надежность и стабильность: Предлагает метод использования LLM для повышения надежности человеческих решений.
  • Чек-лист практичности (+15 баллов): Да, исследование дает готовые конструкции ("Reason" prompt), показывает, как структурировать сложный запрос (анализ + объяснение), раскрывает неочевидные особенности (использование симуляции для контр-аргументации) и предлагает способ повысить точность (в данном случае, точность распознавания мошенничества). Бонус в 15 баллов применяется.
📌

Цифровая оценка полезности

Итоговая оценка 93 балла сформирована из высокой базовой оценки (около 78) за счет огромной концептуальной ценности и прямой применимости двух из трех компонентов, плюс бонус в 15 баллов за соответствие чек-листу практичности.

Аргументы в пользу высокой оценки: * Новый паттерн использования LLM: Исследование предлагает не просто "улучшить промпт", а fundamentally новый способ использования LLM — как "спарринг-партнера" или "симулятора реальности" для проверки своих гипотез и решений. Это чрезвычайно ценно. * Прямая применимость "Reason": Промпт из секции 4.3.2 можно брать и использовать "как есть" для анализа любых подозрительных текстов, что дает немедленную пользу. * Мощная концепция "Anticipate": Идея "спроси у LLM, что мошенник скажет дальше" — это простой, но гениальный способ проверить реальный диалог. Любой пользователь может открыть второй чат и сделать это вручную.

Контраргументы (почему оценка могла бы быть ниже): * Фокус на fine-tuning: Значительная часть исследования посвящена созданию и оценке ScamGPT-J ("Simulate"), что совершенно бесполезно для обычного пользователя, у которого нет возможности дообучать модели. * Узкая тема: Исследование сфокусировано на мошенничестве. Пользователю нужно приложить умственное усилие, чтобы адаптировать эти методы для других задач (например, анализ делового предложения или отзыва на товар). * Идеализированные условия: В эксперименте "Anticipate" ответы "scambot" были созданы вручную для чистоты эксперимента. В реальности LLM может не так точно предсказать следующий шаг, что может снизить эффективность метода.


📋 Дайджест исследования

Ключевая суть

Парадокс: лучший способ проверить честность собеседника — попросить LLM сыграть за него роль мошенника. Фреймворк ASR даёт возможность раскусить манипуляцию в переписке, даже когда вы уже начали верить собеседнику. Фишка: вы не спрашиваете «это обман?» — вы просите модель предсказать следующий ход афериста, а потом сравниваете с реальностью. Совпало — схема. Не совпало — возможно, всё честно.

Принцип работы

Два шага, два режима работы модели. «Reason» — даёте LLM роль эксперта по безопасности и просите разобрать диалог по косточкам: какие фразы создают давление, что логически не вяжется, где «красные флаги». Не общий вердикт, а список с объяснениями — почему именно эта фраза подозрительна. «Anticipate» — переключаете модель в режим мошенника и просите предсказать следующий ход, если вы согласитесь. Смена перспективы ломает ловушку: вы перестаёте искать причины верить и начинаете видеть схему глазами того, кто её придумал.

Почему работает

Когда мы уже начали верить — мы ищем причины продолжать. Это нормальная работа мозга, и именно на ней строится любой обман. Симуляция создаёт «альтернативную версию событий» снаружи этой ловушки. Модель не ограничена вашим желанием верить — она просто описывает типичный сценарий. Пошаговый разбор («Reason») особенно важен в неочевидных случаях — когда мошенничество не кричит о себе, а маскируется под логичное предложение. Исследование показало: именно комбинация прогноза и объяснения повышает точность распознавания — особенно в сложных ситуациях, где простой вопрос «это обман?» не срабатывает.

Когда применять

Подозрительные сообщения в мессенджерах → особенно когда «всё выглядит логично», но что-то не так. Предложения о работе → когда просят деньги, торопят или обещают слишком много. Переговоры о цене → разберите манипулятивные приёмы продавца, предскажите его следующий аргумент. Рекламные тексты и страницы продаж → какие психологические приёмы давят на читателя и куда ведут. Механизм переноса прост: меняете роль («мошенник» → «нечестный работодатель» или «хитрый продавец») и контекст — структура та же. НЕ подходит для: оценки технических документов или кода. Там нет манипулятивных паттернов — там другая логика анализа.

Мини-рецепт

1. Задайте роль: «Ты — эксперт по безопасности и онлайн-мошенничеству» или «HR-директор с 20-летним стажем, который скептически относится к предложениям, звучащим слишком хорошо» — под контекст.

2. Вставьте переписку целиком: С контекстом — где нашли объявление, о чём разговор, как давно переписываетесь. Чем больше деталей, тем точнее анализ.

3. Запросите разбор («Reason»): «Пошагово, в виде списка, объясни — какие именно фразы и приёмы здесь классические признаки обмана. Объясни, почему каждый из них должен вызывать подозрение».

4. Запросите прогноз («Anticipate»): «Предскажи, что произойдёт дальше, если я соглашусь. Каков наиболее вероятный следующий ход?»

5. Сравните с реальностью: Если предсказание модели совпадает с тем, что вам уже предлагают — это не совпадение. Это схема.

Примеры

[ПЛОХО] : Это мошенничество? Мне предлагают снять квартиру дистанционно, владелец говорит что уехал в другой город
[ХОРОШО] : Ты — эксперт по борьбе с онлайн-мошенничеством. Я нашёл квартиру по очень привлекательной цене, вот моя переписка с «владельцем»: [текст]. Задача в двух частях. 1) Разбери пошагово, какие именно фразы и приёмы здесь — классические признаки обмана. Объясни каждый пункт: почему это должно насторожить. 2) Предскажи, что произойдёт, если я дам ему свой email и соглашусь на условия. Опиши наиболее вероятный следующий шаг.
Источник: Anticipate, Simulate, Reason (ASR): A Comprehensive Generative AI Framework for Combating Messaging Scams
ArXiv ID: 2507.17543 | Сгенерировано: 2026-03-02 17:56

Проблемы LLM

ПроблемаСутьКак обойти
Вердикт без объяснения не помогает принять решениеСпрашиваешь "это мошенничество?". Получаешь "да" или "нет". Без разбора — почему. Без понимания — ты не видишь ловушку следующий раз. Особенно опасно в неочевидных случаях: там даже "нет" не значит что всё чистоТребуй пошагового разбора конкретных фраз. Не "дай вердикт", а "объясни какие именно приёмы использованы и почему каждый из них опасен"

Методы

МетодСуть
Роль противника — предсказание следующего ходаДай модели роль "плохого актора" в твоей ситуации. Мошенника. Нечестного работодателя. Манипулятивного продавца. Попроси предсказать его следующий шаг. Потом сравни с тем, что происходит на самом деле. Синтаксис: "Ты — [мошенник / недобросовестный продавец / манипулятивный переговорщик]. Вот диалог. Предскажи: какой следующий шаг сделает этот человек, чтобы достичь своей цели?" Почему работает: Ты уже начал верить собеседнику — это называется эффект якоря. Прямой вопрос "это обман?" ты оцениваешь через эту веру. Симуляция от лица противника создаёт другую точку зрения. Ты видишь не "может это честно?", а "вот как это выглядит изнутри схемы". Если предсказание модели совпало с реальным ответом — это сильный сигнал тревоги. Когда применять: подозрительная переписка, анализ предложений о работе, переговоры о цене, любая ситуация где есть асимметрия интересов. Когда не работает: если нет конкретного диалога или текста для анализа
Двухчастный запрос: разбор + прогнозИспользуй два блока в одном запросе. Блок 1 — "Reason": "Объясни пошагово, какие фразы и приёмы в этом тексте являются тревожными сигналами. По каждому пункту — почему именно это подозрительно". Блок 2 — "Anticipate": "Предскажи: что произойдёт, если я соглашусь / отвечу / заплачу?" Почему работает: Разбор делает невидимое видимым — ты замечаешь конкретные тактики вместо смутного беспокойства. Прогноз превращает абстрактный риск в конкретный сценарий. Два блока вместе дают и понимание, и мотивацию действовать. Применяй для любого подозрительного текста: вакансия, договор, коммерческое предложение, переписка

Тезисы

ТезисКомментарий
Симуляция точки зрения противника разрушает эффект доверия лучше прямого вопросаКогда уже начал верить — вопрос "это честно?" проходит через фильтр этой веры. Мозг ищет подтверждения. Симуляция от лица противника обходит этот фильтр: ты не оцениваешь честность, ты смотришь на ситуацию изнутри схемы. Работает потому что меняет не содержание вопроса, а точку наблюдения. Применяй: когда чувствуешь что слишком хочешь верить — это сигнал запустить симуляцию. Чем сильнее желание согласиться, тем важнее этот приём
📖 Простыми словами

Предвидение, симуляция, рассуждение (ASR): комплексная фреймворк генеративного ИИ для борьбы с мошенничеством в сообщениях

arXiv: 2507.17543

Суть в том, что современные фильтры спама — это дырявое решето, которое ловит только очевидный мусор. Мошенники давно научились обходить тупые алгоритмы, используя психологическое давление и контекст. Фреймворк ASR (Anticipate, Simulate, Reason) меняет правила игры: он заставляет нейронку не просто сканировать текст на стоп-слова, а работать как опытный следователь, который видит преступника насквозь еще до того, как тот открыл рот. Система буквально просчитывает намерения на три шага вперед, превращая пассивную защиту в активную контрразведку.

Это как если бы у тебя на входе в дом стоял не обычный домофон, а профессиональный профайлер из спецслужб. Обычный фильтр просто проверит, есть ли у гостя ключ, а ASR посмотрит на его потную ладонь, бегающие глаза и поймет, что история про «проверку труб» — это полная лажа. Система симулирует развитие диалога в голове и понимает: если сейчас ответить этому «сотруднику банка», через два сообщения он попросит код из СМС. Формально он еще ничего не нарушил, но алгоритм уже видит финал этой пьесы.

В основе лежат три конкретных этапа: Anticipate (предсказание цели атаки), Simulate (проигрывание сценария в «песочнице») и Reasoning (логический вывод о вредоносности). Исследование показало, что когда модель сначала вслух проговаривает скрытый мотив мошенника, точность детекции взлетает до небес. Вместо того чтобы гадать, спам это или нет, нейронка использует цепочку рассуждений, выявляя классические триггеры: создание спешки, игру на страхе или обещание халявы. Это позволяет ловить даже те разводки, которые раньше считались «чистыми» для фильтров.

Хотя тестировали это на СМС и мессенджерах, принцип универсален. Эту же логику можно натравить на фишинговые письма, подозрительные офферы в LinkedIn или даже на «холодные» звонки. Любая коммуникация, где одна сторона пытается манипулировать другой, теперь раскладывается на атомы. GEO и SEO здесь ни при чем — это чистая психология, упакованная в код. Если текст пытается заставить тебя совершить действие здесь и сейчас, фреймворк ASR пометит его как угрозу быстрее, чем ты успеешь нажать на ссылку.

Короче: эпоха простых фильтров закончилась, наступает время предиктивной безопасности. Главный вывод исследования — нельзя защищаться от того, чего не понимаешь, поэтому AI должен сначала «стать» мошенником, чтобы его обезвредить. Симуляция атаки — лучший способ защиты. Если не внедришь такой подход в свои системы проверки контента, останешься один на один с армией ботов, которые пишут убедительнее твоих друзей. Облом в том, что мошенники тоже используют AI, так что победит тот, чья модель лучше умеет в логику и предсказание.

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с