Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
PFaithBench: парная проверка «ответить или промолчать». Модели выдумывают ответ, когда в документе нет нужного факта
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Обнаружено: почти все модели отвечают, даже когда нужного факта в документе нет. Они молча достают его из памяти и подают как цитату. Метод PFaithBench позволяет проверить, отвечает ваш бот строго по документу или тихо врёт из памяти. Берёшь один вопрос и даёшь его дважды: с документом, где ответ есть, и с копией, где ключевой факт вырезан. Меняется только один фактор, поэтому любая разница в поведении — это утечка внутренних знаний. Честная модель отвечает в первом случае и говорит «в документе этого нет» во втором.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку