TL;DR
Когда AI-агент (или человек) что-то сломал, нужен план восстановления. Исследование выяснило: люди при оценке таких планов ставят скорость и точность выше всеобъемлющего решения. Это контринтуитивно — кажется, нужно "починить всё и надолго", но на практике люди выбирают быстрые точечные действия. Из этого вывели рубрику из 8 критериев для оценки любого плана исправления ситуации.
Главная находка: LLM по умолчанию генерирует "комплексный" план — длинный, всеохватный, с профилактикой на годы вперёд. Но исследование на 1 150 парных сравнениях показало, что такие планы люди выбирают реже. Причина простая: комплексность = сложность = медленно. Когда горит — хочется потушить огонь, а не перестроить дом.
Метод работает в два шага: сначала сгенерировать несколько вариантов плана, потом оценить каждый по рубрике из 8 критериев с учётом контекста ситуации. Веса критериев меняются в зависимости от типа проблемы — для технических систем важнее "сработает ли план", для чувствительных ситуаций — "учтено ли мнение человека".
Схема метода
Два запроса подряд, в одном чате:
ЗАПРОС 1 (генерация):
Проблема → Попроси LLM сгенерировать 3–5 разных планов восстановления
ЗАПРОС 2 (оценка):
Планы из шага 1 → Попроси LLM оценить каждый по рубрике из 8 критериев
→ LLM ранжирует планы и выбирает лучший
ВЫВОД → Лучший план с объяснением почему
Оба запроса — в обычном чате, никакого кода.
Пример применения
Задача: SMM-менеджер сети кофеен "Горький" в Москве случайно опубликовал в официальном Telegram-канале (150к подписчиков) внутреннюю переписку с поставщиком — там обсуждались скидки, которые другим партнёрам не давали. Скрин уже разлетелся. Нужен план действий.
Промпт — Шаг 1 (генерация вариантов):
Я SMM-менеджер сети кофеен. Произошёл инцидент: я случайно опубликовал
в Telegram-канале на 150 000 подписчиков внутреннюю переписку с поставщиком.
В переписке видно, что мы даём этому поставщику скидки, которых нет у других.
Скрин уже распространился.
Предложи 4 разных плана действий на ближайшие 2 часа.
Планы должны реально отличаться по подходу — от минималистичного
до развёрнутого. Каждый план — 3–5 конкретных шага.
Промпт — Шаг 2 (оценка по рубрике):
Теперь оцени каждый из этих 4 планов по 8 критериям
(шкала 1–5 для каждого):
1. Фокус — план бьёт в суть проблемы, без лишних действий
2. Скорость — можно выполнить быстро
3. Вероятность успеха — реалистично сработает
4. Устранение вреда без новых проблем — не создаём новых скандалов
5. Коммуникация — как говорим с аудиторией и партнёрами
6. Уважение автономии — учитываем интересы поставщика и команды
7. Долгосрочное решение — снижает риск повторения
8. Полнота — закрывает все аспекты инцидента
Контекст: ситуация публичная и срочная, репутационный риск высокий,
аудитория уже видела скрин.
В этом контексте приоритет: скорость + фокус + коммуникация.
Выбери лучший план и объясни почему.
Результат:
Модель покажет таблицу оценок для каждого плана по 8 критериям. Потом — рекомендацию: скорее всего выберет не самый "полный" план, а точечный и быстрый. Объяснит, почему комплексный план в данном контексте проигрывает — слишком долго, слишком много движений при горящем доме.
Почему это работает
Слабость LLM — без явных критериев модель оптимизирует под "полезность", которую понимает как "чем больше, тем лучше". Получаешь план на 10 пунктов, половина из которых — на следующий квартал.
Исследование показало: люди оценивают планы восстановления иначе, чем кажется. Скорость и фокус статистически значимо повышают вероятность выбора плана. Полнота — наоборот снижает. Парадокс: "всё предусмотрел" воспринимается как "слишком сложно и медленно".
Как метод это использует: генерация нескольких вариантов вынуждает модель предлагать реально разные подходы — от минимального до развёрнутого. Явная рубрика с контекстными весами переключает оценку с "чем больше пунктов" на "что важно именно здесь".
Рычаги управления:
Контекст приоритетов в запросе 2 — меняй в зависимости от ситуации:
- Технический сбой → "приоритет: вероятность успеха + фокус"
- Личные данные, HR-инцидент → "приоритет: коммуникация + уважение автономии"
- Срочная публичная ситуация → "приоритет: скорость + фокус + коммуникация"
- Финансовая ошибка → "приоритет: устранение вреда без новых проблем + долгосрочное решение"
Количество вариантов в шаге 1 — 3 варианта для простых ситуаций, 5–6 для сложных, где цена ошибки высокая
Явное указание "планы должны реально отличаться" — без этого модель генерирует вариации одного подхода
Шаблон промпта
Шаг 1 — генерация вариантов:
Произошёл инцидент: {описание_что_случилось}.
Контекст: {кто затронут, какие последствия уже есть}.
Предложи {число} разных планов восстановления — от минималистичного
до развёрнутого. Планы должны реально отличаться по подходу.
Каждый план — конкретные шаги, без воды.
Шаг 2 — оценка по рубрике:
Оцени каждый план по 8 критериям (шкала 1–5):
1. Фокус — бьёт в суть, без излишков
2. Скорость — можно выполнить быстро
3. Вероятность успеха — реалистично сработает
4. Устранение вреда без новых проблем
5. Коммуникация — как говорим с пострадавшими/аудиторией
6. Уважение автономии — учитываем интересы всех сторон
7. Долгосрочное решение — снижает риск повторения
8. Полнота — закрывает все аспекты инцидента
Контекст приоритетов для этой ситуации: {приоритеты из списка выше}.
Выбери лучший план, покажи оценки, объясни выбор.
Что подставлять:
- {описание_что_случилось} — конкретный факап, без самоцензуры
- {кто затронут} — клиенты / команда / партнёры / публика
- {число} — 3–5 вариантов
- {приоритеты} — выбери из таблицы в секции "Рычаги управления"
🚀 Быстрый старт — вставь в чат:
Вот шаблон для оценки планов восстановления после инцидента.
Адаптируй под мою задачу: [твой инцидент].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
LLM спросит что за инцидент, кто затронут, какой контекст приоритетов — потому что без этого она не сможет правильно взвесить критерии в шаге 2. Она возьмёт структуру шаблона и адаптирует под твою ситуацию.
Ограничения
⚠️ Субъективность оценки: Даже рубрика не даёт "правильного" ответа — исследование показало низкое согласие между оценщиками (Cohen's κ = 0.15). Это значит, что разные люди будут выбирать разные планы при одинаковых критериях. Рубрика задаёт фрейм, но не заменяет суждение.
⚠️ Работает на "восстановительных" задачах: Метод заточен под ситуации, где что-то уже пошло не так. Для планирования с нуля или творческих задач — обычные подходы лучше.
⚠️ Контекстные веса придётся задавать вручную: Reward model из исследования обучена на человеческих данных и автоматически подбирает веса. В чате это нужно делать самому — указывать приоритеты явно. Если не указать — LLM скорее выберет "самый полный" план, что противоречит находкам исследования.
⚠️ Ядро исследования — инфраструктура: Главные результаты (reward model, BACKBENCH, агентский scaffold) требуют кода, дообучения модели и специализированной среды. В чат напрямую не переносится — только принципы.
Ресурсы
Название: Human-Guided Harm Recovery for Computer Use Agents
Авторы: Christy Li, Sky CH-Wang, Andi Peng, Andreea Bobu — MIT CSAIL
Сайт: christykl.github.io/cua-harm-recovery-site
Бенчмарк: BACKBENCH — 50 сценариев восстановления на базе OSWorld (Ubuntu-среды)