Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
DEEPQUESTION - Систематическая генерация реальных задач для оценки производительности языковых моделей (LLMs).
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Модели, которые легко решают стандартные задачи, катастрофически (до 70% падения точности) проваливаются, когда их просят проявить креативность и создать оригинальную задачу по заданным параметрам.