BEE-RAG: сбалансированная энтропийная инженерия для генерации с дополненным поиском

Обнаружено: При загрузке множества документов LLM теряет способность отличать важное от шума — её «бюджет внимания» размазывается тонким слоем по всему контексту, как студент, читающий 30 книг перед экзаменом вместо трёх ключевых. BEE-RAG позволяет радикально повысить точность ответов при работе с большими объёмами данных, даже если среди них много нерелевантной информации. Метод математически «подсвечивает» важные документы внутри механизма внимания, заставляя модель игнорировать информационный мусор. Технически это достигается через введение балансирующего фактора β для каждого документа — точность вырастает на десятки процентов по сравнению со стандартным RAG.