TL;DR
Procedural Exposure Bias (PEB, «смещение от повторения процедуры») — это находка о том, как агент читает скилл (файл с инструкциями вроде SKILL.md). Чем чаще в скилле повторено слово, связанное с действием, тем сильнее модель тянется к этому действию. Это происходит даже тогда, когда в текущей ситуации оно не подходит. Авторы также показали, что тот же скилл, отрендеренный в картинку и поданный мультимодальной модели, даёт меньший перекос и чуть более высокий итоговый успех агента.
Боль знакома: в инструкции есть раздел про редкий случай, где слово «возврат» или «удалить» встречается восемь раз. Агент в обычной ситуации вдруг предлагает возврат или удаление. Условия применимости записаны верно, но частота слова давит сильнее логики. Модель не взвешивает релевантность по смыслу. Каждое повторение добавляет ещё одно место в контексте, откуда модель «собирает» вероятность следующего действия. Подсчёт идёт по количеству упоминаний, а не по важности.
Суть находки в том, что частота упоминаний сама по себе работает как вес. Картинка этот вес ослабляет: сигнал остаётся читаемым, но слабее влияет на выбор действия. Практический вывод из статьи — следить за повторами ключевых слов действий в скиллах и инструкциях. Визуальная подача скиллов — вторая, менее зрелая опция.
Схема метода
Это не метод, а находка, поэтому схема описывает логику эксперимента и вывод.
ШАГ 1: Берём скилл, где слово действия-«отвлекателя» повторено k раз (0, 1, 2, 4, 8)
Длина текста и ситуация те же, действие неприменимо
ШАГ 2: Смотрим, как растёт предпочтение этого действия → растёт с k
ШАГ 3: Тот же скилл подаём картинкой → рост заметно слабее
ШАГ 4: Прогоняем полных агентов: текстовый скилл vs картинка → картинка чуть лучше в среднем
Вывод для практики: считай упоминания действий в скиллах. Картинка — экспериментальная альтернатива.
Пример применения
Авторы тестировали только повторение слова и подачу картинкой. Они не проверяли, помогает ли переписывание скилла. Поэтому промпт ниже — моя практическая адаптация их находки: он ищет в вашем скилле то, что авторы показали как источник перекоса.
Задача: Вы настроили агента для продавца на Wildberries. Скилл «Обработка обращений» описывает и возврат, и обмен, и отказ. Раздел про возврат подробный: слово «возврат» встречается около десяти раз, а обмен упомянут дважды. Агент всё чаще предлагает возврат там, где покупателю нужен обмен.
Промпт:
Ты — аудитор инструкций для ИИ-агента. Ниже скилл для агента поддержки продавца на Wildberries.
Задача:
1. Выпиши все действия, которые описаны в скилле (возврат, обмен, отказ, эскалация и т.д.).
2. Для каждого действия посчитай, сколько раз в тексте встречается его ключевое слово и однокоренные формы.
3. Покажи таблицу: действие | число упоминаний | в каких разделах.
4. Отметь действия, у которых упоминаний заметно больше, чем у остальных, при том что в реальной работе они не самые частые или не самые подходящие.
5. Для каждого перекошенного действия предложи правку: оставить одно чёткое упоминание с условием применимости («только если…»), убрать повторы в примерах и пояснениях, заменить повторяющееся слово общим («это действие», «такой случай»), где смысл не теряется.
6. Выдай переписанный скилл. Смысл и условия применимости не меняй.
Скилл:
{текст_скилла}
Результат: Модель выдаст таблицу частот по действиям. Затем отметит перекос, например что одно действие упомянуто в разы чаще остальных. Предложит точечные правки и выдаст переписанный скилл с одним упоминанием каждого действия вместе с условием применимости. После этого прогоните агента на 10–20 типовых обращениях до и после правки и сравните, кто стал выбирать «не то» действие реже.
Почему это работает
Слабость модели. Модель читает контекст как набор позиций. Каждое упоминание действия — отдельное место, которое участвует в расчёте следующего шага. Если слово повторено восемь раз, у действия в контексте больше «голосов», чем у слова, упомянутого один раз. Авторы показали, что это происходит без изменения релевантности действия: ситуация та же, объём текста тот же, меняется только число повторов.
Что подтверждают контрольные замены. Если заменить повторяемое слово на нейтральное, перекос заметно падает. Если заменить такое же число других слов, почти ничего не меняется. Значит, эффект даёт именно повтор слова действия, а не любое изменение текста.
Как работает картинка. При подаче текстом каждое повтор — это отдельные токены с отдельными позициями. При подаче картинкой повторы превращаются в куски изображения, и прямая лексическая «суммация» ослабляется. Авторы проверили, что дело именно в кодировании картинкой, а не в красивой вёрстке: обычный монохромный скриншот текста почти так же снижает перекос, как оформленная карточка. Сигнал при этом не теряется: модель по картинке тоже может сказать, какое слово повторяется чаще. Но на выбор действия он влияет слабее.
Рычаги управления: - Число упоминаний действия → меньше повторов, меньше перекос в его сторону. - Условие применимости рядом с упоминанием → один раз, но с чётким «когда». - Общие слова вместо повторов («это действие», «такой случай») → снижают лексический «вес», но проверьте, что смысл не размылся. - Формат подачи → текст или картинка, если инструмент принимает изображения.
Шаблон промпта
Проведи аудит инструкции для ИИ-агента на перекос от повторов.
Контекст агента: {что_делает_агент}
Список действий, которые агент может выбирать: {список_действий}
Шаги:
1. Для каждого действия посчитай упоминания ключевого слова и однокоренных форм в тексте.
2. Построй таблицу: действие | число упоминаний | где встречается.
3. Найди перекосы: действия, у которых упоминаний много больше, чем у остальных, хотя в работе они {критерий_редкости}.
4. Предложи правки: одно упоминание + условие применимости; убрать повторы из примеров и пояснений.
5. Выдай переписанную инструкцию. Смысл и условия применимости не меняй.
Инструкция:
{текст_инструкции}
Что подставлять:
- {что_делает_агент} — роль агента, например «поддержка маркетплейса».
- {список_действий} — 3–10 действий, между которыми агент выбирает.
- {критерий_редкости} — например «подходят редко» или «не должны быть выбором по умолчанию».
- {текст_инструкции} — скилл, CLAUDE.md, AGENTS.md или системный промпт.
Ограничения
⚠️ Нет проверки правки: Авторы показали, что повторы вредят. Они не проверяли, что переписывание скилла без повторов улучшает результат агента. Это логичная гипотеза, но проверять её нужно на своих задачах.
⚠️ Контролируемый эксперимент узкий: Основная проба — одна модель и домашние задачи (ALFWorld). На других моделях авторы показывают то же качественно, но детали вынесены в приложение.
⚠️ Нет фронтирных закрытых моделей: Проверяли открытые модели (Qwen, Gemma, Kimi). Как это выглядит у Claude или GPT, статья не говорит.
⚠️ Выигрыш от картинок небольшой и нестабильный: В среднем картинка лучше текста у всех четырёх моделей, но разница в единицы процентных пунктов и по средам прыгает: бывает, что текст выигрывает. Авторы сами пишут, что не доказали, что именно снижение перекоса объясняет прирост.
⚠️ Картинки требуют инженерии: Подача скиллов картинками нужна мультимодальной модели и конвейеру рендера. Скиллы в готовых агентах (Claude Code и подобных) — текстовые файлы, так что этот путь потребует доработки.
⚠️ Внутренняя часть вам не нужна: Анализ слоёв и подмена активаций требуют доступа к весам. Для практики из них ничего не следует.
Как исследовали
Авторы начали с чистого вопроса: влияет ли простое количество упоминаний действия в скилле на выбор модели, если релевантность не меняется? Они взяли 165 шагов из успешных прохождений домашних задач в ALFWorld. На каждом шаге зафиксировали историю и правильное действие, а потом добавили отвлекающее действие: оно подходит к задаче в целом, но не к текущему шагу. Ключевое слово отвлекателя вставляли в скилл 0, 1, 2, 4 или 8 раз, а остальные места заполняли нейтральным текстом. Длина текста при этом не менялась. Модель не генерировала ответ, а оценивала заранее заданные варианты действий — так сравнение чистое.
Предпочтение отвлекателя росло с числом повторов при текстовой подаче. Две контрольные замены показали причину: замена целевого слова снижала эффект, а замена нерелевантного слова с той же частотой почти ничего не меняла. Дело в повторе слова действия, а не в изменении текста вообще.
Затем сравнили три формата: чистый текст, скриншот того же текста («растеризованный») и оформленную карточку. Оказалось, что скриншот уже даёт почти весь эффект ослабления. Карточка добавляет немного. Потому авторы заключили, что ключ — кодирование картинкой, а не красивая вёрстка. Проверка доступности сигнала показала, что модель по картинке тоже видит, какое слово повторяется чаще. Значит, перекос ослаблен не потому, что информация потеряна.
В конце прогнали полных агентов на ALFWorld, ScienceWorld и WebShop на четырёх моделях. Скилы вообще дают главный прирост: у Qwen3.5-9B общий успех вырос с 16 до 41–44. Картинка превзошла текст в среднем у всех четырёх моделей: у Qwen 9B 40,7 → 44,1, у Kimi 56,3 → 58,6, у Gemma 57,2 → 58,2, у Qwen 27B 53,1 → 53,9. Приращения скромные, и главный урок — сам факт перекоса, а не величина выигрыша от картинок.
Адаптации и экстраполяции
💡 Адаптация для CLAUDE.md и AGENTS.md: тот же аудит работает не только для скиллов, но и для любых файлов инструкций агента. Если в длинном CLAUDE.md слова «удаляй», «рефакторь» или «запускай тесты» повторяются много раз в разных разделах, агент может выбирать их чаще, чем нужно. Это экстраполяция: авторы тестировали скиллы, а не файлы инструкций.
Вот CLAUDE.md моего проекта. Подсчитай, сколько раз упомянуты ключевые действия
(удалять, переписывать, запускать тесты, спрашивать подтверждение, коммитить).
Найди те, что упомянуты непропорционально часто.
Предложи, как сократить повторы, сохранив правила и их условия.
{текст_файла}
🔧 Техника: условие применимости рядом с действием. Вместо многократного напоминания «делай X» держите одно упоминание: «Делай X только если {условие}». Это моё предположение из логики находки, в статье не проверялось. Проверьте на 10–20 типовых запросах, снизилось ли число лишних вызовов X.
Ресурсы
- Работа: Procedural Exposure Bias in Skill-Augmented Language Model Agents, препринт.
- Код: https://github.com/NEUIR/Vis-Skill
- Авторы: Qing Yang, Yuqi Xiong, Pengcheng Huang, Zhipeng Xu, Zhenghao Li, Zulong Chen, Yu Gu, Ge Yu.
- Организации: School of Computer Science and Engineering, Northeastern University (Shenyang, Китай); Alibaba Group (Ханчжоу).
- Бенчмарки: ALFWorld, ScienceWorld, WebShop. Ранжирование скиллов — по схеме SkillNet.