3,583 papers
arXiv:2509.03957 75 4 сент. 2025 г. PRO

CANDY Benchmark: карта слабостей LLM в фактчекинге китайской дезинформации

КЛЮЧЕВАЯ СУТЬ
Обнаружено: LLM не говорят 'не знаю' при фактчекинге — они выдумывают авторитетные подтверждения. 40%+ ошибочных выводов сопровождаются фабрикациями типа 'Согласно полицейскому рапорту...' — хотя весь рапорт выдуман. Бенчмарк CANDY (тест на 20 тысячах китайских новостей, реальных и фейковых) позволяет превратить LLM из подыгрывающего врунишки в критического ассистента при проверке фактов. Фишка: переформулируй утверждение в вопрос. Вместо 'В провинции произошло убийство' → 'Произошло ли убийство?'. Вопросительная форма переключает модель с режима 'подтвердить' на 'проверить'фабрикации падают с 30% до 14%.
Адаптировать под запрос
📋 Дайджест исследования

Контент доступен только для PRO подписчиков

Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с