LayerCake: токенно-ориентированное контрастивное декодирование в слоях больших языковых моделей

Обнаружено: LLM обрабатывает токены поэтапно — ранние слои фокусируются на структуре и пунктуации, средние слои концентрируются на ключевых понятиях и смысле. LayerCake позволяет выявлять и устранять фактические ошибки в реальном времени, используя это знание о внутренней механике модели. Метод сравнивает два пути генерации: нормальный и «саботированный» (где средние слои намеренно игнорируют ключевые концепты) — если слово имеет высокую вероятность в нормальном ответе и низкую в испорченном, оно фактологически верное. Точность фактов выросла на 15-20% без переобучения модели.