3,583 papers
arXiv:2510.26193 77 30 окт. 2025 г. PRO

RCScore: стабильность ответов как показатель надёжности модели

КЛЮЧЕВАЯ СУТЬ
Модель решает задачу правильно. Переформулируешь вопрос — меняет решение и теперь ошибается. Точность скачет на 16.7% только из-за того, как ты спросил. «Реши» vs «Можешь решить?» — одна суть, разные ответы. RCScore позволяет понять когда модель блефует, а когда действительно знает решение. Метод прогоняет вопрос через 3-4 формулировки и измеряет похожесть ответов по трём слоям: синтаксис (структура фраз), лексика (термины), логика (шаги рассуждений). Стабильность формулировок = надёжность рассуждений. Если модель даёт похожие решения при разных стилях промпта — она нашла устойчивый паттерн, не случайное совпадение. Корреляция 0.79 между стабильностью и правильностью.
Адаптировать под запрос
📋 Дайджест исследования

Контент доступен только для PRO подписчиков

Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO

Контент доступен только для PRO подписчиков

Чтобы получить доступ к концептам этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO
📖 Простыми словами

Контент доступен только для PRO подписчиков

Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку

💳 Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
⚡ Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO

Работа с исследованием

Адаптируйте исследование под ваши задачи или создайте готовый промпт на основе техник из исследования.

0 / 2000
~0.5-2 N-токенов ~10-30с
~0.3-1 N-токенов ~5-15с