Типология фактических ошибок в тексте: LLM плохо проверяет факты — и вот почему

Когда просишь LLM «проверь факты» — она ищет логические противоречия внутри текста, а не сами факты. Именно поэтому лучшая модель в исследовании находит лишь половину реальных ошибок — 52% F1. Метод позволяет целенаправленно охотиться за шестью конкретными типами ошибок: числами, датами, именами, масштабом, единицами измерения и антонимами. Фишка: к каждой категории добавь описание типичной ошибки и попроси метку — «видно из текста» или «проверь вручную». Модель переключается с пассивного чтения на активный поиск по каждой категории — и честно сигнализирует, где ей доверять, а где нет.