Attention Diversion: почему опечатка в цифре ломает расчёты LLM, а "эм" и "ну" — нет

Модель спотыкается на опечатках в словах, но не замечает слова-паразиты вроде "эм" и "короче" — хотя оба вида шума одинаково "портят" текст на первый взгляд. Причина в том, как модель режет текст на токены (кусочки слов, которые она понимает): опечатка ломает привычное разбиение слова, и получившиеся странные обрубки притягивают к себе внимание модели — как магнит, оттягивая фокус от реально важных данных в тексте. Заполнители типа "эм" не ломают токенизацию — они просто добавляют знакомые модел