RepE для кода: проверка корректности через внутренние состояния LLM

RepE (Representation Engineering) — метод извлечения "вектора корректности" из скрытых состояний LLM. Исследователи адаптировали его для кода: подают модели пары правильного/неправильного кода, извлекают скрытые состояния на последнем токене, вычисляют разницу, применяют PCA и получают вектор, который показывает "внутреннее знание" модели о корректности. Проецируя новый код на этот вектор, можно оценить его корректность точнее, чем по вероятностям токенов.