Текст статьи дан не полностью: обрывается на разделе 5.2. Выводы ниже опираются на аннотацию, введение, описание методики и начало результатов.
TL;DR
FDE-Gym — это тестовая площадка, где ИИ-агент как «инженер по внедрению» делает рабочую систему для вымышленного клиента. Агенту сначала дают заказ в разной степени подробности, потом сравнивают, насколько результат улучшил реальную бизнес-метрику клиента. Четыре уровня брифа: L0 — проблема, правила и критерии успеха названы прямо; L1 — проблема названа, правил нет; L2 — размытая просьба; L3 — исходная просьба заказчика, которая может бить мимо цели.
Главная находка: агенты слабо выявляют неозвученные правила. Если правила и ограничения вписаны в задачу, лучшие модели справляются хорошо. Если их надо вытащить самому из документов и расспросов, результат резко падает. Агент делает «ровно что просили», сдаёт в срок, проходит проверки, а бизнес-метрика не двигается. Просьба заказчика часто не про главную проблему, а правило, которое всё решает, нигде не написано.
Второй неприятный вывод: даже когда агент получил нужные факты от людей, результат всё равно слабый. Узнать правило и применить его в системе — разные вещи. Слабые модели в такой постановке часто оставляют клиента в худшем состоянии, чем если бы ничего не трогали. Практический вывод для читателя: при постановке задачи агенту явно пишите настоящую проблему, правила, запреты и критерий успеха. Не рассчитывайте, что он сам спросит или догадается.
Схема: четыре уровня брифа (из исследования)
L0: проблема + правила/ограничения + как оценивается результат → агент только проектирует и делает
L1: проблема названа, правил нет → агент ищет правила сам
L2: размытая, но верная по направлению просьба → агент ищет и проблему, и правила
L3: исходная просьба заказчика (может быть мимо цели) → агент решает, туда ли смотрит, и ищет правила
Окружение, люди и проверка везде одни и те же. Меняется только текст задачи. Поэтому разница в результатах показывает цену недостающей информации.
Падение по уровням: - Самое большое падение — при переходе от L0 к L1, то есть когда убрали правила и ограничения. - Дальнейшее ухудшение брифа (размытость, ошибочная цель) добавляет сравнительно немного.
Пример применения
Задача: Селлер на Wildberries просит агента (Claude Code) «сделать автоответчик на отзывы». Реальная боль в другом: рейтинг карточки падает из-за брака в одной партии зимних курток. Если дать только исходную просьбу, получится вежливый бот, который рейтинг не поднимет.
Промпт (бриф уровня L0):
Ты внедряешь автоматизацию для магазина верхней одежды на Wildberries.
НАСТОЯЩАЯ ПРОБЛЕМА:
Рейтинг карточки «Куртка Север» упал с 4,8 до 4,3 за два месяца.
75% негативных отзывов — про заедающую молнию из партии №3 (март).
Просьба владельца «сделай автоответчик на отзывы» — это симптом, не проблема.
ПРАВИЛА И ОГРАНИЧЕНИЯ:
- В ответах на отзывы нельзя оставлять телефоны, ссылки и предлагать деньги за изменение оценки.
- Возврат или замену по браку одобряет только менеджер Ирина, не бот.
- Данные по партиям — в файле batches.csv; в старом файле returns_2023.csv данные устарели, не используй.
- Нельзя менять тексты карточек товаров.
КАК ОЦЕНИВАЕТСЯ РЕЗУЛЬТАТ:
Доля негативных отзывов про молнию в следующих 100 отзывах и время до решения по браку.
Сначала напиши план: что ты считаешь настоящей проблемой и какие правила применишь. Потом делай.
Результат: Агент сначала выдаст короткий план с формулировкой проблемы и списком правил. Затем предложит решение вокруг брака: выявление отзывов про молнию, передачу случаев менеджеру, шаблоны ответов без запрещённого. Он не будет строить универсальный автоответчик «на всё» и не станет трогать устаревший файл. Полученный результат проверяйте на 10–20 реальных отзывах.
Почему это работает
Слабость модели. Агент по умолчанию делает то, что написано в задаче. Заказчик часто описывает симптом, а не причину. Правила вроде «это не трогаем», «эту цифру не использовать» или «этому человеку не писать» лежат в головах людей. Модель не догадывается их искать, а когда ищет, находит не всё. Лишние обращения к людям тоже дорого стоят: в исследовании за каждое сообщение, пробный запуск и день ожидания снимали баллы.
Сильная сторона. Если факты и правила прямо названы, модель хорошо проектирует и реализует решение. Лучшие модели при L0 показали высокий результат. Проблема не в «уме», а в нехватке входных данных.
Как использовать. Вы делаете за агента самую трудную часть: превращаете «что просили» в «что нужно», добавляете правила и критерий успеха. Рычаги управления бриф-шаблоном: - Критерий успеха — замените на свою метрику (доля возвратов, время ответа, выручка). Без него агент оптимизирует «чтобы работало». - Список запретов — чем он полнее, тем меньше «самодеятельности». - Кого можно спрашивать и кого нет — в исследовании контакты с людьми стоили баллов. Пропишите, к кому обращаться можно. - Шаг «сначала план» — вынуждает агента проговорить, как он понял проблему, и вы успеваете её поправить.
Шаблон промпта
Это оригинальная структура уровня L0 из исследования: проблема, правила, критерий оценки.
Ты внедряешь решение для {клиент/проект}.
НАСТОЯЩАЯ ПРОБЛЕМА:
{что на самом деле болит, с цифрами; чем это отличается от первоначальной просьбы}
ПРАВИЛА И ОГРАНИЧЕНИЯ:
- {что нельзя делать}
- {кто принимает решения по чему}
- {какие данные устарели или ненадёжны}
- {что вне рамок проекта}
КАК ОЦЕНИВАЕТСЯ РЕЗУЛЬТАТ:
{метрика клиента, по которой будем судить}
Сначала напиши план: как ты понял проблему и какие правила учтёшь. Потом выполняй.
Подставьте: клиента, реальную проблему, 3–6 правил (запреты, ответственные, ненадёжные источники), метрику успеха.
🚀 Быстрый старт — вставь в чат:
Вот шаблон брифа для агента. Адаптируй под мою задачу: [твоя задача].
Задавай вопросы, чтобы заполнить поля.
[вставить шаблон выше]
ИИ спросит, чем заказчик на самом деле недоволен, какие есть запреты и устаревшие данные и по какой метрике вы поймёте, что стало лучше. Это именно те три вещи, которые в исследовании агенты хуже всего находят сами.
Адаптация (моя, не из статьи)
Если правил вы не знаете, добавьте в конец шаблона: «Перед работой перечисли, чего тебе не хватает: каких правил, данных и людей. Не начинай, пока я не отвечу». Эффект этого приёма в статье не измерялся.
Ограничения
⚠️ Это бенчмарк, а не метод: авторы не проверяли готовую технику «как заставить агента находить правила». Вывод «пишите правила в бриф» следует из сравнения уровней L0–L3, но формулировки промптов не тестировались.
⚠️ Знание правил — не гарантия результата: даже когда агент получил все нужные факты от людей, результат часто оставался заметно ниже эталонного. Бриф снижает риск, но не снимает проверку.
⚠️ Слабые модели опасны: на малых моделях система нередко ухудшала положение клиента. Результат на реальных данных проверяйте до запуска.
⚠️ Сложные условия: в части сценариев ни одна модель не справилась. Критичные решения (деньги, право, безопасность) оставляйте человеку.
⚠️ Анализ уровней брифа сделан на небольшом наборе исходных задач: выводы про размытость и ошибочную цель менее надёжны, чем про отсутствие правил. Человеческий эталон в статье ещё не опубликован.
Ресурсы
- FDE-Gym: The Last Mile of AI Delivery — Dongxu Yang, Hongda Yan, Renxin Wang, Baoli Zhang, Haojia Zuo, Ying Zhao, Youmin Chen и соавторы. DeepLethe, Tsinghua University, Shanghai Jiao Tong University и другие.
- Сайт и онлайн-площадка: fde-gym.com
- Код: github.com/deeplethe/fde-gym
- Данные: huggingface.co/datasets/DeepLethe/FDE-Gym