EHQ: почему модели увереннее там, где меньше всего знают

Парадокс: две модели с одинаково отличным чтением документов ведут себя на границе знаний совершенно по-разному — одна скажет 'не знаю', другая уверенно соврёт. Разница в честности между моделями достигает 50 процентных пунктов (31% против 81%) — и это никак не связано с тем, насколько хорошо модель находит факты в тексте. Метод EHQ ловит эту разницу через 4 капкана: вымышленные сущности, события после даты обучения, редкие факты, вопросы про вырезанный из документа факт. Модели обучили быть уверенными, а не честными — тренировочные тесты штрафуют «не знаю» так же строго, как и неправильный ответ.