Закон границы знания: контекст в LLM работает только там, где у модели пробел

Если вставил документ в чат, а ответ не стал лучше — скорее всего, там была информация, которую модель и так знала. Исследование на клинических вопросах показало: добавление базы знаний помогает только тогда, когда информация выходит за пределы обучения модели — для публичных фактов прироста ноль, для приватных или свежих данных — ответ меняется полностью. Метод позволяет перестать тратить токены на то, что модель уже знает, и давать контекст именно там, где без него модель начинает угадывать. Твои внутренние данные для LLM ценнее, чем кажется — именно там контекст меняет всё.