VOYAGER: итеративная генерация разнообразных данных через отбор и уточнение промпта

Парадокс: Попросишь LLM сгенерировать 50 идей — получишь 10 вариаций одной и той же. Модель тяготеет к центру распределения — возвращается к частым паттернам из обучающих данных. Температура не спасает: она меняет случайность токенов, но не гарантирует охват разных смысловых зон. VOYAGER позволяет генерировать датасеты с настоящим разнообразием — не кучку похожих примеров, а охват разных семантических кластеров. Метод работает как садовник: отбирает только непохожие растения. Цикл: генерируешь батч → отбираешь самые разные → анализируешь отклонённые (они показывают куда модель тяготеет) → уточняешь промпт для следующей итерации → повторяешь. Якорный набор (anchor set) держит память о том что уже есть — новый пример принимается только если достаточно отличается от якорей.