Rater Effects и Drift: как не принять нового оценщика за ухудшение агента

Исследование показывает, что оценка агента во времени ломается из-за самих оценщиков. Каждый ревьюер ставит баллы со своей строгостью. Чтобы это вычесть, нужно, чтобы оценщики оценивали одни и те же партии записей. Тогда строгость каждого видна по разнице баллов внутри партии, и её можно вычесть. После этого тренд качества агента показывает именно агента, а не состав команды. Вторая идея: у любой оценки есть срок годности. Агент меняется, и старый замер перестаёт описывать текущую систему.