SubTokenTest: почему LLM путаются в символах и когда это ломает реальные задачи

Модель не может посчитать букву 'r' в слове strawberry не потому что глупа — слово может быть одним токеном, и модель не видит отдельные буквы внутри него. Она работает с блоками текста, а не символами, и должна угадывать их позиции по статистике из обучающих данных. SubTokenTest показывает где эта слепота ломает реальные задачи: модель теряет координаты объектов на ASCII-картах игр (Sokoban, FrozenLake), неправильно маскирует номера карт и телефонов, путается в выравнивании таблиц. Reasoning модели (DeepSeek-R1, o1) частично решают проблему — в своих внутренних рассуждениях они пишут 's-t-r-a-w-b-e-r-r-y', считают посимвольно, потом дают ответ. Этот принцип можно применить через промпт — попросить модель явно разложить текст на символы перед обработкой.