Проверка дерева целиком: почему LLM-судья по узлам пропускает сломанные таксономии

Парадокс: LLM-судья проверяет каждый узел дерева категорий и ставит 0.97–1.00, а почти у каждого листа название — это имя предка плюс одно новое слово. Метод позволяет находить такие скрытые дефекты в сгенерированных деревьях категорий (например, для отзывов клиентов) обычным скриптом, без LLM-судьи. Фишка: дефект живёт не в узле, а в дереве целиком. Вместо вопроса «хорош ли узел» считай свойства всего дерева: долю листьев, повторяющих имя предка, разнообразие слов, ветвление по уровням и утечку записей между ветками. В исследовании на одном из уровней у каждого из 158 родителей оказался ровно один ребёнок, и ни один узловой судья этого не заметил.