3,583 papers
arXiv:2602.06446 74 6 фев. 2026 г. PRO

CORE Benchmark: модели не умеют говорить "связи нет"

КЛЮЧЕВАЯ СУТЬ
Обнаружен драматический парадокс: LLM находят связи между концептами с точностью 86-100%, но распознают ОТСУТСТВИЕ связи только в 0-41% случаев. При этом уверенность модели одинаковая — 92-94% в обоих случаях. Benchmark CORE диагностирует критическую слабость моделей — неспособность воздерживаться от ответа, когда связи нет. Формат теста: «A относится к B как C относится к...?» — половина пар связаны (художник–кисть), половина несвязаны (шахматы–математика). Модель вынуждена что-то выбрать, даже если корректный ответ — «ни один вариант». Результат: модель уверенно генерирует ложные связи вместо признания их отсутствия. Человек справляется с несвязанными парами на 95.1% — это не сложная задача, модель проваливает.
Адаптировать под запрос
📋 Дайджест исследования

Контент доступен только для PRO подписчиков

Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO

Контент доступен только для PRO подписчиков

Чтобы получить доступ к концептам этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO
📖 Простыми словами

Контент доступен только для PRO подписчиков

Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с