ClusterFusion: кластеризация через LLM с эмбеддинг-навигацией

Трансформеры плохо связывают информацию на расстоянии. Когда похожие примеры разбросаны по промпту (позиции 5, 78, 134), модель обрабатывает их изолированно — attention угасает через десятки токенов. Результат: LLM видит «три разных случая», а не «паттерн одной темы». ClusterFusion позволяет группировать сотни текстов (отзывы, вопросы, идеи) с точностью на 15+ п.п. выше чем при хаотичном подходе. Фишка: эмбеддинги отбирают и сортируют примеры (похожие рядом), LLM видит организованный материал — вся релевантная информация в локальном окне. Модель тратит силы не на поиск связей, а на смысловую абстракцию — 72% accuracy превращаются в 87% одной перестановкой.