Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Accessibility Profiles: оценка модели по доле успешных перефразировок, а не по одной формулировке
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
На вопросах про заблуждения у 55% вопросов успех зависит от слов, а не от знаний модели. Метод профилей доступности (Accessibility Profiles) позволяет увидеть, на что бот отвечает всегда, на что по везению, а на что никогда. Один вопрос пересказываешь 5-10 раз с тем же смыслом и считаешь долю верных ответов. Вопросы делятся на надёжные (верно на всех формулировках), хрупкие (верно на части) и отсутствующие (ни на одной). Фишка: если ответ не получился, меняй формулировку, а не жми «перегенерировать».
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку