Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Стресс-тестирование хрупкости промптов (CCD & GlassGSM): как ловить задачи, где LLM валится от перестановки двух фраз
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Обнаружено: даже на тех задачах, которые модель уверенно решает с первой попытки, она теряет правильный ответ почти в половине случаев, если просто поменять местами два предложения или вставить лишний факт из той же сферы. Методика Conditional Causal Difficulty (CCD) и генератор GlassGSM позволяют измерить чистую хрупкость промпта к формулировке отдельно от логической трудности задачи. Фишка метода: стресс-тест гоняют только на уже решённых задачах через сохраняющие смысл возмущения — это вскрывает скрытые поломки, которые раньше маскировались средними метриками.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку