Фантомные правки: как токенизация предаёт рассуждения LLM

Обнаружено: Модель «верит» что выполнила замену слова, потому что изменились token ID в её внутреннем представлении, но декодированный текст остался идентичным. Исследование из University of Houston объясняет почему LLM систематически нарушает инструкции типа замени X, оставь Y без изменений – дело не в непослушании или нехватке знаний. Токенизаторы создают неуникальные представления: «February» и « February» (с пробелом впереди) – это разные токены для модели, но один текст для человека. Модель рассуждает над последовательностями token ID, не над текстом. Если ID изменился – она считает задачу выполненной, даже если декодированная строка осталась той же. Жесть – большие модели (Qwen3-30B) делают столько же фантомных правок, сколько маленькие (Qwen3-4B). Это не проблема мощности – это архитектурное ограничение на уровне представления.