Necessity-Sufficiency Check: как проверить, врёт ли LLM о причинах своего решения

В 26–58% случаев LLM называет главной причиной решения фактор, который на деле почти не влияет на ответ — а реальный рычаг решения молчит в объяснении. Necessity-Sufficiency Check позволяет проверить, честно ли модель объясняет своё решение — без доступа к её внутренностям, просто экспериментом на входных данных. Метод меняет один фактор за раз и смотрит, изменился ли ответ — это necessity. Потом оставляет только один фактор, скрыв остальные — это sufficiency. Модель может назвать «джейлбрейк» главной причиной риска, хотя реально всё решает незаметная «просьба дать незаконный совет» — первое просто звучит тревожнее.