Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Потерянные в бенчмарках: переосмысление оценки больших языковых моделей с использованием теории отклика на предметы.
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Применение принципов ПСИХОМЕТРИКИ (науки о тестировании людей) к оценке промптов для LLM. Вместо обвинения модели в плохих ответах, анализируй свой промпт по четырем критериям: сложность, различительная способность, вероятность угадывания и выполнимость. Твой промпт — это тестовое задание для модели, и его качество определяет качество ответа.