Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Лама Смотри Лама Делай: Механистическая перспектива на контекстуальное синхронизирование и отвлечение в больших языковых моделях.
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Языковые модели работают по принципу КОНТЕКСТУАЛЬНОГО УВЛЕЧЕНИЯ – они значительно повышают вероятность генерации любого слова, которое уже встречалось в промпте, независимо от релевантности. «Что видит модель в контексте, то и склонна повторять» – даже если это приводит к ошибкам. Особенно опасна ложная информация в контексте.