Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Tool Admission (ADMIT): текстовый отказ модели не гарантирует, что она не вызвала инструмент
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Обнаружено: в трети случаев, когда вредный вызов инструмента всё же произошёл, модель при этом словами отказывалась. Метод ADMIT позволяет поймать агента, который в чате написал «не могу помочь», а страницу уже открыл. Проверяй два независимых решения отдельно: что модель написала и вызвала ли она инструмент. Причём в обеих ветках, «вызвал» и «не вызвал», с оценкой вреда по каждой ветке. Фишка: после этого можно сложить вред обеих веток и увидеть реальную картину, а не вежливый отказ в чате.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку