Дебатно ориентированные многоагентные модели больших языков для обнаружения фишинговых электронных писем

Исследование предлагает мультиагентный подход для детекции фишинговых писем, где два LLM-агента ведут структурированные дебаты - один доказывает, что письмо является фишингом, другой защищает его легитимность, а третий агент-судья принимает финальное решение. Эксперименты показали, что смешанные конфигурации агентов (GPT-4 + LLaMA-2) превосходят однородные, а техники chain-of-thought и role prompting не дают значительного улучшения поверх базовой структуры дебатов.Ключевой результат:мультиагентные дебаты сами по себе обеспечивают достаточно структурированное рассуждение для точной классификации без дополнительных промт-техник.

Основа подхода:Создание системы из трёх LLM-агентов, которые имитируют судебные дебаты для анализа спорного контента.

Структура дебатов: - Агент 1 (Обвинитель): Аргументирует, почему контент является проблематичным - Агент 2 (Защитник): Контраргументирует в пользу легитимности контента
- Агент 3 (Судья): Оценивает качество аргументов и выносит финальный вердикт

Процедура: Два раунда дебатов - в первом агенты излагают базовые позиции, во втором усиливают аргументы с учётом возражений оппонента.

Ключевое открытие: Гетерогенные пары агентов (разные модели LLM) показывают лучшие результаты, чем однородные, поскольку разные модели дополняют рассуждения друг друга и снижают confirmation bias.

Методика применения: 1. Определить две противоположные позиции по анализируемому вопросу 2. Назначить агентам чёткие роли защитника и оппонента 3. Провести структурированный двухраундовый обмен аргументами 4. Поручить третьему агенту оценить силу аргументов и принять решение

Прямая применимость:Пользователи могут адаптировать шаблоны промтов для любых задач бинарной классификации или принятия решений. Техника особенно эффективна для сложных вопросов, требующих анализа с разных точек зрения. Однако требуется доступ к нескольким LLM или несколько запросов к одной модели.

Концептуальная ценность: Исследование демонстрирует важность преодоления confirmation bias через мультиперспективный анализ. Показывает, что структурированное противопоставление мнений эффективнее односторонних рассуждений. Раскрывает принцип синергии разнородных моделей мышления - разные LLM дополняют слабые стороны друг друга.

Потенциал адаптации: Базовая структура "обвинитель-защитник-судья" универсально применима к анализу документов, принятию бизнес-решений, оценке рисков, проверке фактов. Механизм адаптации: определить две противоположные гипотезы, сформулировать промты для их защиты, создать критерии для судейской оценки. Можно использовать с одной моделью через последовательные запросы с разными ролями.

Этот промт работает за счёт принудительного создания когнитивного конфликта - каждый агент должен найти убедительные аргументы для своей позиции, что заставляет модель глубже анализировать разные аспекты проблемы.

Механика преодоления bias: Жёсткое разделение ролей предотвращает склонность модели к поверхностному анализу или подтверждению первого впечатления.

Двухраундовая структура обеспечивает учёт контраргументов - каждая сторона вынуждена укрепить позицию с учётом возражений, что повышает качество анализа.

Роль судьи создаёт метауровень рассуждений, где модель синтезирует противоположные точки зрения и принимает взвешенное решение на основе сравнения аргументов, а не emotion-driven первого впечатления.

Фундаментальный принцип: Создание адверсарной системы внутри одной модели, где разные "экземпляры" вынуждены искать противоположные интерпретации одних и тех же данных.

Эффект специализации: Каждому агенту назначена экспертная роль с конкретной областью внимания - это заставляет модель активировать разные "режимы анализа" и применять различные критерии оценки.

Механизм exhaustive search: Противоположные роли обеспечивают исчерпывающий поиск как позитивных, так и негативных индикаторов, что снижает вероятность пропуска важных деталей.

Преодоление anchoring bias: Структура дебатов не позволяет модели "зацепиться" за первое впечатление - она вынуждена последовательно рассматривать материал через множественные аналитические призмы.

Синтез через конфликт: Финальный агент-судья получает предварительно обработанную информацию в виде структурированных аргументов, что позволяет ему сосредоточиться на взвешивании доказательств, а не на их поиске.

A. Релевантность техникам промтинга: Высокая - исследование напрямую связано с промт-инжинирингом, предлагает конкретные шаблоны промтов для мультиагентных дебатов.

B. Улучшение качества диалоговых ответов: Да - демонстрирует улучшение точности классификации через структурированные дебаты между агентами.

C. Прямая практическая применимость: Средняя - требует доступа к нескольким LLM одновременно, но техника дебатов адаптируема для широкого круга задач.

D. Концептуальная ценность: Высокая - раскрывает принципы преодоления confirmation bias через мультиперспективный анализ.

E. Кластеризация: Попадает в кластер "Безопасность и защита" (phishing detection) и частично в поведенческие закономерности LLM.

Аргументы за высокую оценку: Исследование предоставляет готовые промт-шаблоны, демонстрирует превосходство гетерогенных агентских конфигураций, показывает что структура дебатов сама по себе достаточна без дополнительных техник промтинга.

Контраргументы: Требует доступа к множественным LLM, специфично для задач кибербезопасности, не все пользователи имеют доступ к GPT-4 и LLaMA-2 одновременно. Может показаться излишне сложным для простых задач классификации.