Chemical CoT Scratchpad: модель врёт в объяснении, даже когда ответ правильный

Обнаружено: химическая LLM выдумывает детали молекулы прямо в цепочке рассуждений — азот, кольца, группы, которых нет ни во входе, ни в финальном ответе. Метод проверки faithfulness рассуждений позволяет понять, какая часть текста модели реально работает, а какая — просто убедительный театр для читателя. Модель не читает свои же слова как аргумент — испорти утверждение в рассуждении, и ответ почти не изменится. Испорти те же данные во входе — ответ ломается полностью, а в 13% случаев ответ был точным при откровенно выдуманном факте в рассуждении.