LLM Microscope: внутренние сигналы правильности ответа и эффективности контекста

LLM Microscope — исследование Carnegie Mellon о том, можно ли предсказать правильность ответа модели и качество контекста через анализ внутренних состояний (активаций, скрытых слоёв). Учёные обучили классификатор на активациях первого токена, который предсказывает правильность ответа с точностью ~75%, и измерили чувствительность модели к трём типам контекста: корректному, некорректному и нерелевантному.