Проклятие победителя в самоулучшении промптов: «стало лучше» на маленьком наборе тестов — это в основном шум

Когда вы просите LLM переписать промпт, прогоняете его на небольшом наборе примеров и оставляете версию, которая набрала больше, вы измеряете не качество, а удачу. Из нескольких вариантов вы выбираете тот, которому повезло с шумом. Поэтому рост на вашем наборе почти всегда выглядит больше, чем он есть. Это «проклятие победителя» (winner's curse): лучший из шумных замеров завышен по определению.