Counterfactual Probing: проверка знаний LLM через похожие неверные варианты

Парадокс: модель может быть одинаково уверена в верном 'Нил – самая длинная река, 6650 км' и неверном 'Амазонка – самая длинная река, 6650 км'. Почему? Она строит уверенность на правдоподобии формулировки, а не на истинности факта. Counterfactual Probing (контрфактуальная проверка) позволяет обнаружить такие галлюцинации без внешних источников – через измерение насколько меняется уверенность модели на похожих, но ошибочных вариантах. Генерируешь неверные альтернативы (меняешь сущность/дату/число/логику), запрашиваешь оценку уверенности 0-100 для каждой. Фишка: разброс уверенностей диагностирует галлюцинацию – меньше 30 пунктов между оригиналом и подменами = модель не знает факт, просто угадывает по паттерну. Больше 50 пунктов разницы = опирается на реальное знание.