TL;DR
LLM систематически ошибаются при тонких классификационных задачах — путают того, кто описывает проблему, с тем, кто её продвигает. Статья предлагает два метода промптинга, которые это исправляют. Первый — DD-CoT: при каждой классификации модель обязана сформулировать контраргумент против наиболее вероятной альтернативы. Второй — Anti-Echo Chamber: вместо одного запроса запускается параллельный совет из четырёх независимых ролей, каждая анализирует текст со своей позиции, затем судья агрегирует голоса.
Главная находка — авторы называют её Reporter Trap (ловушка репортёра). LLM по умолчанию видит текст про X и классифицирует его как поддержку X. Нейтральный пересказ, ирония, разоблачение — модель всё равно штампует "endorsement". Это работает не только с конспирологией: та же ошибка возникает когда просишь оценить тональность, выявить мошеннические паттерны или понять — клиент жалуется на продукт или активно отговаривает других. Причина проста: модель реагирует на тему, а не на позицию автора.
Оба метода решают проблему по-разному. DD-CoT заставляет модель заранее аргументировать против самого соблазнительного неправильного ответа — это убирает самонадеянность при выборе категории. Anti-Echo Chamber разделяет задачу между четырьмя ролями с противоположными задачами (прокурор, адвокат, буквалист, аналитик позиции) — и каждая роль не видит ответы других до финального голосования.
Схема методов
DD-CoT — один промпт, три шага внутри
ШАГ 1: Классифицируй → [категория + обоснование]
ШАГ 2: Назови наиболее вероятную ошибку → [какую категорию можно спутать]
ШАГ 3: Аргументируй ПРОТИВ этой альтернативы → [почему это всё-таки не она]
→ Финальный ответ: [категория + confidence]
Все три шага — в одном запросе.
Anti-Echo Chamber — параллельный совет (4 роли + судья)
РАУНД 1 (параллельно, без обмена информацией):
Роль 1 — Прокурор: ищет доказательства позиции А
Роль 2 — Адвокат: ищет доказательства позиции Б
Роль 3 — Буквалист: проверяет буквальный смысл текста
Роль 4 — Аналитик позиции: анализирует маркеры уверенности/хеджирования
РАУНД 2:
Судья: агрегирует голоса → финальный вердикт
Правило судьи: при неопределённости → выбирай консервативный ответ
Можно выполнить в одном длинном промпте или двумя последовательными запросами.
Пример применения
Задача: HR Яндекса получил 200 анкет от кандидатов. В открытом вопросе "Почему ушли с прошлого места?" — половина ответов упоминают конфликты с менеджментом. Нужно отличить: человек описывает реальный опыт (нормально) или демонстрирует деструктивный паттерн (красный флаг).
Промпт (Anti-Echo Chamber):
Ты анализируешь ответ кандидата на вопрос об уходе с прошлого места работы.
Твоя задача — определить: это конструктивное описание опыта или деструктивный паттерн.
Текст кандидата: "{текст_ответа}"
Выполни анализ от имени четырёх независимых ролей.
ВАЖНО: каждая роль работает автономно, не ссылаясь на выводы других.
---
РОЛЬ 1 — ОБВИНИТЕЛЬ:
Найди все признаки деструктивного паттерна в тексте.
Ищи: обвинения без фактов, абсолютизацию ("всегда", "никогда"),
снятие с себя ответственности, обобщение на всю компанию/индустрию.
Вердикт: [деструктивный / нейтральный] + confidence [высокий/средний/низкий]
Доказательства: [цитаты из текста]
РОЛЬ 2 — ЗАЩИТНИК:
Найди все признаки конструктивного описания опыта.
Ищи: конкретные факты, признание своей роли, нейтральные формулировки,
выводы о росте/уроках, факты без эмоциональных оценок.
Вердикт: [конструктивный / нейтральный] + confidence [высокий/средний/низкий]
Доказательства: [цитаты из текста]
РОЛЬ 3 — БУКВАЛИСТ:
Прочитай текст строго буквально.
Что именно сказано — без интерпретаций?
Есть ли прямые оценки менеджмента/компании или только описание событий?
Вердикт: [содержит прямые обвинения / только описание событий]
Цитаты: [конкретные фразы]
РОЛЬ 4 — АНАЛИТИК ПОЗИЦИИ:
Проанализируй маркеры уверенности и хеджирования.
Ищи: слова "кажется", "возможно", "в моём случае" vs "всегда", "все они", "точно знаю".
Ищи: кто агент в предложениях — "я решил" vs "они вынудили".
Вердикт: [автор берёт ответственность / перекладывает ответственность]
---
СУДЬЯ — финальное решение:
На основе четырёх вердиктов:
- Если минимум 3 роли согласны → выноси их вердикт
- Если 2:2 или неопределённость → вердикт "требует уточнения на интервью"
- При низком confidence у большинства → консервативный вердикт (не флагуй)
Итог: [конструктивный / деструктивный / требует уточнения]
Главные сигналы: [2-3 конкретные фразы из текста, которые решили исход]
Результат: Модель покажет структурированный анализ от каждой роли с цитатами из текста и confidence-оценкой. Судья агрегирует голоса и даст финальный вердикт с обоснованием. Ключевое: если три роли говорят "конструктивно", а одна "деструктивно" — судья не поддастся меньшинству. Сложные случаи (ирония, двусмысленность) помечаются как "требует уточнения" — модель не будет угадывать там, где данных не хватает.
Почему это работает
Слабость LLM при классификации — модель видит тему и реагирует на неё, а не на позицию автора. Текст про мошенников → LLM думает "мошеннический контент". Текст про конфликт с менеджером → LLM думает "проблемный кандидат". Это не баг, это следствие того, как модель обучалась: тема и позиция часто коррелируют в обучающих данных.
Сильная сторона LLM — модель отлично справляется с анализом с одной заданной точки зрения. Попроси её "докажи что X" — докажет. "Опровергни X" — опровергнет. Проблема возникает когда нужно взвесить обе стороны в одном запросе: модель усредняет и теряет нюансы.
Как методы обходят слабость. DD-CoT делает потенциальную ошибку явной — модель сначала формулирует самый соблазнительный неправильный ответ, а потом аргументирует против него. Это переключает режим с "выбрать очевидное" на "защитить выбор от реальной альтернативы". Anti-Echo Chamber разделяет задачу между ролями с противоположными мотивациями: прокурор физически не может смягчить вывод, потому что его задача — найти обвинения; адвокат не может ужесточить, потому что его задача — защищать. Судья работает с четырьмя уже готовыми аргументами, а не пытается генерировать их сам.
Рычаги управления:
| Элемент | Что меняет |
|---|---|
| Число ролей в совете | 2 роли — быстро, грубо; 4 — точнее, дороже |
| Правило судьи | "При неопределённости — консервативно" → меняй под свою задачу |
| Температура ролей | Роли-генераторы — свободнее; судья — строже (пиши явно: "отвечай точно и без домыслов") |
| DD-CoT глубина | Одна альтернатива — базово; попроси контраргумент против двух — точнее на сложных задачах |
Шаблон промпта
DD-CoT шаблон
Твоя задача: классифицировать {объект} по следующим категориям: {список_категорий}.
Текст: "{текст}"
Выполни три шага:
ШАГ 1 — Классификация:
Выбери наиболее подходящую категорию.
Обоснование: [почему именно она]
ШАГ 2 — Альтернатива:
Какую категорию легче всего спутать с твоим ответом?
Назови её: [категория]
ШАГ 3 — Контраргумент:
Объясни, почему текст всё-таки НЕ относится к этой альтернативе.
Конкретно: [что в тексте опровергает альтернативу]
Финальный ответ: [категория] | Уверенность: [высокая/средняя/низкая]
Плейсхолдеры:
- {объект} — что классифицируем: "отзыв", "комментарий", "письмо", "пост"
- {список_категорий} — твои категории: "позитивный / негативный / нейтральный" или "жалоба / рекомендация / вопрос"
- {текст} — сам текст для анализа
Anti-Echo Chamber шаблон
Проанализируй текст от имени четырёх независимых ролей.
Каждая роль работает автономно — не ссылается на выводы других.
Задача: определить {вопрос_классификации}.
Текст: "{текст}"
---
РОЛЬ 1 — {роль_за_А}:
Найди все признаки {позиция_А}.
Ищи: {что_ищет_роль_1}
Вердикт: [{вариант_А} / {вариант_Б}] + confidence [высокий/средний/низкий]
Доказательства: [цитаты]
РОЛЬ 2 — {роль_за_Б}:
Найди все признаки {позиция_Б}.
Ищи: {что_ищет_роль_2}
Вердикт: [{вариант_А} / {вариант_Б}] + confidence [высокий/средний/низкий]
Доказательства: [цитаты]
РОЛЬ 3 — БУКВАЛИСТ:
Что буквально написано в тексте, без интерпретаций?
Вердикт: [только факты / содержит оценки]
РОЛЬ 4 — АНАЛИТИК ПОЗИЦИИ:
Кто агент в тексте? Автор берёт ответственность или перекладывает?
Ищи маркеры: "я решил" vs "они вынудили", "кажется" vs "точно знаю"
Вердикт: [автор активен / пассивен]
---
СУДЬЯ:
Агрегируй голоса:
- 3+ голоса за одну сторону → выноси этот вердикт
- Раскол 2:2 → "{консервативный_исход}"
- Низкий confidence у большинства → "{запасной_исход}"
Итог: [{вариант_А} / {вариант_Б} / {консервативный_исход}]
Решающие сигналы: [2-3 цитаты из текста]
Плейсхолдеры:
- {вопрос_классификации} — что нужно решить: "endorsement или reporting", "жалоба или отговорка"
- {роль_за_А} / {роль_за_Б} — имена ролей: "Прокурор" / "Адвокат", "Критик" / "Защитник"
- {что_ищет_роль_1} — конкретные маркеры: "абсолютизацию, обвинения без доказательств"
- {консервативный_исход} — что делать при неопределённости: "требует уточнения", "нейтральный"
🚀 Быстрый старт — вставь в чат:
Вот шаблон Anti-Echo Chamber для анализа текстов.
Адаптируй под мою задачу: {твоя задача}.
Задавай вопросы, чтобы заполнить все поля.
[вставить шаблон Anti-Echo Chamber выше]
LLM спросит: что классифицировать, какие два варианта, что считать "красными флагами" для каждой роли, что делать при неопределённости — потому что без этих параметров роли не смогут работать точно. Она возьмёт паттерн совета присяжных и перестроит под твою задачу.
Ограничения
⚠️ Ирония и неявная позиция: Оба метода плохо справляются с высококонтекстной иронией — когда человек говорит одно, а имеет в виду противоположное. Это открытая проблема даже у авторов, занявших призовые места.
⚠️ Стоимость токенов: Anti-Echo Chamber использует в 7-8 раз больше токенов, чем обычный запрос. Для коротких рутинных задач — избыточно. Использовать там, где цена ошибки высока.
⚠️ Длинный контекст: Методы заточены под анализ отдельных высказываний. Для больших документов нужно сначала разбить текст на фрагменты, потом применять к каждому.
⚠️ DD-CoT на простых задачах: Если категории очевидно различаются — шаг с контраргументом бесполезен и раздувает ответ. Применяй только там, где граница между категориями реально размыта.
Ресурсы
Статья: AILS-NTUA at SemEval-2026 Task 10: Agentic LLMs for Psycholinguistic Marker Extraction and Conspiracy Endorsement Detection
Код: github.com/panos-span/PsyChoMark_Semeval
Связанные методы: Dynamic CoT (Ma et al., 2025), Self-Refine (Madaan et al., 2023), Contrastive Chain-of-Thought (Chia et al., 2023)
Авторы: Panagiotis Alexios Spanakis, Maria Lymperaiou, Giorgos Filandrianos, Athanasios Voulodimos, Giorgos Stamou — School of Electrical and Computer Engineering, AILS Laboratory, National Technical University of Athens