Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
TIPER: поиск «трудных» пользователей, на которых ломаются LLM-агенты
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Обнаружено: LLM в роли тестового пользователя играет услужливого помощника, поэтому агент на проверках выглядит надёжнее, чем есть. Метод TIPER позволяет найти типы клиентов, на которых именно ваш агент ломается чаще всего. Фишка: усложняется только манера общения, а цель, факты и ограничения задачи заморожены. Персону переписывают циклом: разбор провалов, новая версия, проверка целостности задачи. На подобранных персонах успех агентов падал в каждом проверенном случае, а в сквозных сценариях — на десятки процентных пунктов.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку