Competence-Based Evaluation (CBE): проверка надёжности рассуждений через эквивалентные переформулировки

Модель отвечает верно в 77,5% случаев на исходный вопрос, но обе версии одного вопроса решает только в 56,8% пар (так вышло у GPT-4.1 на длинных цепочках фактов). Метод CBE (оценка по компетентности) позволяет понять, можно ли доверять модели порядок, очередность и зависимости, а не просто посмотреть на среднюю точность. Фишка: ответ засчитывается, только если он верен во всех равнозначных формулировках. Берёшь эквивалентную переформулировку (другие слова, другой порядок фактов, обратное направление связей) и ловишь модель, которая выезжала на подсказках формы.