Аудит утечек «из будущего»: как понять, что LLM-фактчекер вспоминает исход, а не проверяет утверждение

Парадокс: общая точность LLM-фактчекера почти не меняется, когда из утверждений убирают имена, страны и даты. Хотя внутри модель при этом ломается. Метод позволяет поймать завышенную оценку фактчекера до запуска в работу и понять, проверяет модель факт или узнаёт знакомую историю. Прогони каждое утверждение дважды: как есть и с метками вроде [ЧЕЛОВЕК_1], [СТРАНА_1], и сравни вердикты отдельно по верным и по ложным. Верные утверждения массово превращаются в «ложь», а ложные чаще признаются ложными. Эти два сдвига гасят друг друга, поэтому общая цифра врёт, а разбивка по классам показывает правду.