Prior-Driven Error: как понять, где LLM не смогла прочитать почерк, а где придумала правдоподобный текст

Обнаружено: LLM не признаётся, что не разобрала почерк — в 63-91% случаев она подменяет нечитаемое слово на то, что «звучит правдоподобно по смыслу». У человека наоборот: половина ошибок — реальная путаница похожих букв, а не угадывание. Метрика PDE (Prior-Driven Error) позволяет отличить, где модель реально не увидела текст, а где нарисовала уверенную догадку. Ответ модели и правильный текст прогоняют через отдельную модель-судью — если вариант модели более вероятен по языку, чем оригинал, это засчитывается как подмена, а не ошибка зрения.