Надёжная оценка через рубрику: LLM уже умеет судить — проблема в воспроизводимости

Судить модель умеет. Один абзацный промпт — и GPT отделяет принятые научные статьи от отклонённых с точностью AUROC 0.80. Интеллект не проблема. Проблема в том, что тот же текст в следующем запуске получает другой балл: разброс до 2,8 балла. Для найма или выбора питча это меняет решение. Фишка: рубрика нужна не чтобы сделать модель умнее — она уже умная. Рубрика нужна чтобы зафиксировать ответ. Двухпроходная схема — рецензент оценивает по измерениям, аудитор проверяет — и разброс падает с 2,8 до 0,7 балла, почти в четыре раза.