RAGLens: детекция галлюцинаций в RAG через внутренние представления LLM

RAGLens — система детекции галлюцинаций в RAG, которая анализирует внутренние активации языковой модели через Sparse Autoencoders (SAE). SAE распутывают скрытые слои LLM и находят признаки, которые активируются именно когда модель выдумывает факты вопреки предоставленному контексту. Система обучает лёгкий детектор на этих признаках и флагает неверные ответы с точностью 84-89% AUC.