Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
NovelHopQA - Диагностика ошибок многопроходного рассуждения в длинных нарративных контекстах
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
LLM КРИТИЧЕСКИ ТЕРЯЮТ ТОЧНОСТЬ при выполнении задач, требующих нескольких логических шагов подряд. Чем больше "хопов" (переходов от факта А к факту Б к факту В), тем выше вероятность провала. Хрупкость многоходовых рассуждений – это системное ограничение, а не случайность. Модели "забывают" первые улики, путают персонажей и пропускают финальные выводы при работе с длинными документами.