Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Интерпретация феномена повторяющихся токенов в больших языковых моделях
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Длинная монотонная последовательность одинаковых токенов для LLM становится неотличимой от одного-единственного токена в начале последовательности, что активирует защитный/вспомогательный механизм и ломает логику генерации.