Task Schema и Binding: два механизма in-context learning

Обнаружено: когда LLM учится на примерах в промпте (in-context learning), она использует два разных механизма одновременно. Исследование через подмену активаций нейронов показало физическое разделение: Task Schema (тип задачи 'имя → профессия') живёт в поздних MLP-слоях и переносится на 100%, а Binding (конкретные пары 'Анна → врач') живёт в накопленных активациях и переносится только в 62% случаев. Это объясняет почему произвольные коды ('А→1, Б→2') модель схватывает с двух примеров, а переопределение фактов ('Эйфелева башня в Риме') проваливается в 38% случаев – высокий prior knowledge ('башня в Париже') ломает Binding через сбой внимания, модель копирует не ту пару.