Разбитые слова = сломанные ответы: как токенизация убивает точность LLM

Phi-3.5 ошиблась на фразе 'Ostriches bury their heads' — потому что слово 'bury' разбилось на токены 'b' + 'ury'. Замена на синоним 'hide' (один токен) исправила ответ. Исследователи из Tata Consultancy Services проверили закономерность на 7 типах задач и 4 моделях — подтвердилось: разбиение обычного слова на несколько токенов статистически значимо повышает вероятность ошибки. Метод позволяет диагностировать ПОЧЕМУ модель даёт странный ответ и как исправить через переформулировку. Модель не видит слово 'unhappiness' как 'un-happy-ness' (приставка-корень-суффикс). Она видит бессмысленную последовательность 'unh' + 'app' + 'iness' — морфология потеряна, смысловая связь разрушена.