Both-Correct Rate: как поймать LLM на угадывании вместо реальной проверки ошибок

13 из 15 протестированных LLM справляются с поиском ошибок хуже, чем подбрасывание монетки — а их привычная оценка точности (F1-метрика) при этом показывает вполне приличный результат. Both-Correct Rate ловит модель на угадывании: даёшь ей оригинал и версию с одной внесённой ошибкой по отдельности, сравниваешь вердикты. Фишка в том, что модель цитирует верное место как доказательство ошибки — и всё равно ставит неверный вердикт на чистой версии того же текста. Она находит проблему, но не умеет её правильно оценить.