Явные критерии оценки: как получить нужный ответ на субъективные вопросы

Когда просишь LLM выбрать "лучший вариант" из двух ответов — модель застревает на точности 60-70%. Исследование 10 тысяч реальных оценок показало: 92% случаев оба ответа приемлемы, но люди выбирают по-разному. Одни хотят развёрнутые тексты, другие — короткие. Одни ценят структуру, другие — творческий флёр. Модели обучены на усреднённых предпочтениях толпы — поэтому не знают что выбрать. Метод Явные критерии оценки позволяет получать ответы под ваши приоритеты, а не под абстрактное "качество". Фишка: указываешь конкретные критерии — "детальность", "краткость", "формальный тон" — и модель оценивает по ним. Точность подскакивает до 95%. Противоположные критерии ("подробный" vs "краткий") дают обратные ранжирования с корреляцией -0.83 — модель действительно следует твоим указаниям, а не тянет к усреднённому идеалу.