Balanced Permutation: устранение позиционного смещения в рубричных оценках LLM

Обнаружено: LLM выбирает баллы не только по смыслу критерия, но и по его позиции в списке — первая и последняя позиции получают на 5-7% больше выборов, чем средние. Это позиционное смещение замаскировано в обычной практике: хорошие тексты правда заслуживают 4-5, и ты не видишь, где модель выбрала балл по содержанию, а где — потому что критерий стоит первым. Метод позволяет получить объективную оценку без позиционного искажения — критично для content review, оценки идей, HR-скрининга, где точность до десятых балла влияет на решение. Balanced permutation отделяет смысл от позиции: даёшь одну задачу 10 раз с разными порядками критериев (1-2-3-4-5, потом 5-4-3-2-1, потом 2-3-4-5-1...), каждый балл побывал на каждой позиции равное число раз — усредняешь результаты, позиционный эффект взаимоуничтожается. Корреляция с человеческими оценками выросла на 2-5%.