RAG-Eval: трёхсторонняя оценка ответов LLM по 5 метрикам

LLM звучит уверенно, но отвечает мимо вопроса или пропускает половину фактов — знакомая проблема? Традиционные метрики (BLEU, ROUGE) видят только «похожесть слов», поэтому пропускают беглые, но пустые ответы. RAG-Eval решает это через оценку трёх компонентов одновременно: запрос пользователя, контекст (документ/источник) и финальный ответ. Пять независимых проверок — релевантность запросу, фактическая точность, полнота охвата, связность, беглость — каждая по шкале 1-5, потом агрегация с весами. Результат: 58% confidence = «звучит гладко, но упустил главное» вместо размытого «вроде норм».