Metric-Fair Prompting: решение похожих задач парами для консистентности

Проблема: LLM непостоянна. Два одинаковых резюме с навыками Python + Django → один кандидат 27 лет получает 8/10, другая 32 года — 5/10. Модель цепляется за возраст, хотя технически это не важно. Такая непредсказуемость критична для экзаменов, HR-оценок, юридических кейсов. Metric-Fair Prompting позволяет добиться консистентности — похожие задачи получают похожие ответы. Метод работает для задач с вариантами: multiple-choice, оценка кандидатов, ранжирование альтернатив. Парная подача с правилом похожести: модель получает ДВЕ похожие задачи в один промпт + инструкцию "похожие входы → похожие выходы". Для каждого варианта LLM вычисляет оценку уверенности (score). Если ответы расходятся — модель пересматривает через cross-item consistency: "Объясни ПОЧЕМУ различие, через какие значимые факторы, не через демографию". Точность 68% → 84% (+16%) на медицинских экзаменах.