CoT Vectors – Где в промпте «живет» логика LLM

Исследователи обнаружили, что LLM обрабатывает запрос в три этапа: начальные слои «считывают режим работы», средние — выполняют хаотичные рассуждения, последние — формулируют ответ. Метод CoT Vectors позволяет понять, в какой момент промпта модель принимает решение «как мыслить». Вектор пошагового мышления работает только если внедрен в самые первые слои — это означает, что инструкции о способе рассуждения должны быть первыми токенами, которые видит модель, иначе она уже «настроилась» на другой режим работы.