Tokenizer Tax: почему один смысл на разных языках стоит разное число токенов

8-13 раз больше токенов за тот же смысл — вот сколько платит пользователь хинди или малаялам по сравнению с английским. Знание этого налога позволяет выбирать модель и стратегию работы с текстом так, чтобы не терять половину контекста впустую. Причина в том, что токенизатор не может слепить байты слова в цельный кусок: у английского такие обрывы случаются в 9% случаев, у малаялам — в 43%. Чем выше процент рассыпанных байтов, тем выше налог — корреляция 0.89, почти прямая зависимость.