PIPE: Диагностика запоминания интерфейса vs понимания смысла

Агенты обученные на траекториях запоминают НАЗВАНИЯ функций, а не их СМЫСЛ. В примере из исследования агент 15 раз подряд пишет click[...], хотя окружение явно говорит 'доступны только find и press'. Жесть — AgentLM-14b на WebShop падает с 61% до 4% после переименования click → press. Метод PIPE позволяет диагностировать промпты и Custom GPT: устойчивы ли они к переформулировкам, или запомнили конкретные слова. PIPE переименовывает функции (click → press), но сохраняет описания и поведение. Если агент падает в качестве — значит он запомнил названия, а не понял суть. Большое падение = сильная зависимость от формы, а не от смысла.