Pre-Deployment Codebook Audit: пятишаговый аудит инструкций разметки, который отделяет ошибки LLM от дыр в вашем промпте и кривого эталона

Когда LLM размечает тексты с низким баллом точности (F1), переписывать промпт вслепую — верный способ сломать работающие правила. Пятишаговый метод Pre-Deployment Codebook Audit позволяет точно определить источник ошибок классификации и починить инструкцию до запуска на весь массив данных. Фишка метода: прежде чем менять хоть слово в промпте, спорные примеры делят на 4 корзины — ошибка самой модели, брак в ручной разметке людей, нехватка нового критерия или реальная дыра в тексте правил. Точечная замена остаточных правил на утвердительные условия убирает путаницу между соседними категориями без переобучения под мусор в данных.