Фильтр по согласованности: как отличить «уверенность» модели от правды при извлечении сущностей

Обнаружено: почти все лишние сущности в выдаче модели не выдумка. Выдумки дают около 1%, а две трети лишнего — настоящие строки из текста, только из фона («для сравнения: Сбер, ВТБ…»). Метод позволяет понять, каких из найденных компаний, людей и номеров проверять человеку в первую очередь. Фишка: не спрашивай у модели процент уверенности, а запусти тот же запрос 5 раз и посчитай, как часто сущность повторяется. Самоотчёт «уверенность 95» бесполезен, потому что почти все ответы лежат в диапазоне 80–100. А доля повторов между прогонами реально делит сущности на надёжные и сомнительные.