RAGCap-Bench: таксономия ошибок LLM при работе с информацией

Обнаружено: LLM систематически лажают в работе с информацией из интернета. Плохо фильтруют факты (точность < 40%), не отличают надёжные источники от мусора (< 50%), домысливают вместо того чтобы признать нехватку данных. Исследователи выделили 4 ключевых навыка работы с информацией и создали таксономию из 13 типичных ошибок. Фишка: промпты с примерами этих ошибок (error-guided prompts) заставляют модель избегать паттернов косяков – это работает как негативный few-shot, когда модель видит "так делать нельзя" и меняет поведение.