Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Discounted Bayesian Filtering: LLM систематически "забывают" старый контекст
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Обнаружено: LLM забывает старый контекст не случайно, а систематически — каждая модель имеет свой коэффициент забывания γ от 0.47 до 0.91. Старые данные в длинном диалоге теряют от 10% до 50% веса при принятии решений. Метод позволяет понять почему модель "не помнит" начало диалога и компенсировать это. Механизм: чем дальше информация от текущей позиции, тем меньше её вес — это не баг, а свойство механизма внимания трансформеров. Инструкшен-модели забывают сильнее базовых.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку