Caliper: как проверить — LLM думает или вспоминает?

Замени 'курение' на X1, 'рак' на X2 — и точность LLM падает на 8–30%. Модель не рассуждала про причины и следствия. Она вытаскивала заученную пару из памяти. Caliper-тест позволяет за две минуты проверить любой причинно-следственный ответ — реальная логика или красиво звучащая ассоциация. Фишка: задай один и тот же вопрос дважды — сначала с реальными словами, потом с X1 и X2 вместо ключевых терминов. Если ответы расходятся — модель опиралась не на структуру, а на знакомые слова. Scaffold-промпт частично лечит это: заставляет сначала выписать граф причин, потом отвечать — разрыв сужается, хотя полностью не исчезает.