Interventional Transfer: проверка чек-листов, которые составила LLM, через намеренную порчу и «улучшение» ответов

Чек-лист, который составила LLM, хорошо ловит ухудшение ответа, но почти не показывает улучшение. Метод Interventional Transfer (перенос вмешательства) позволяет проверить, можно ли доверять такому чек-листу. Он отвечает на два вопроса: годится ли чек-лист как сигнал тревоги и годится ли как цель для улучшения. Фишка: не сравнивай формулировки пунктов, а правь ответ под один чек-лист и смотри, сдвинулся ли другой. Это вмешательство вместо гадания на похожесть. Обычные метрики дают «все примерно одинаковые». Здесь видно, что одна модель даёт нулевой прирост по экспертной оценке.