Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Формат оценки LLM-судьи: шкала в промпте определяет, сколько ничьих и случайного выбора получится
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Шкала 0–100 выглядит в 20 раз точнее, чем 1–5. На деле она всего в 2–3 раза тоньше: модель использует только 33–37 значений из 101, почти всё кратное пяти. Метод позволяет выбирать лучший ответ из нескольких без лотереи, а для этого достаточно поменять последнюю строку в промпте судьи. Формат вердикта сам решает, сколько вариантов получат одинаковый балл. При вердикте «подходит / не подходит» ничья на топе случается почти в 8 случаях из 10. Выбор «лучшего» из таких ответов случаен.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку