GEPA и SkillOpt на reasoning-моделях: автодоработка промпта помогает не везде, а прирост на проверочной выборке часто обманывает

Прирост +0,8 пункта на проверочной выборке превратился в минус 6,2 пункта на задачах, которых оптимизатор не видел. Исследование позволяет понять, когда автоматическое улучшение промпта (GEPA, SkillOpt) реально помогает, а когда вы любуетесь случайной удачей. Модель-редактор читает ошибки целевой модели, переписывает промпт и оставляет правку, если счёт вырос. Лучший из многих вариантов на маленькой выборке почти всегда лучше просто случайно. Поэтому нужна отложенная выборка: задачи, которые редактор ни разу не видел. На математике (MATH-500) это сработало: 0,828 → 0,904 у одной модели и 0,852 → 0,908 у другой. На вопросах по тексту (HotpotQA) не помог никто.