Evaluation-Driven Iteration: почему "улучшенные" промпты могут ухудшить результаты

Парадокс: Добавил к промпту популярную «лучшую практику» — точность упала с 100% до 90%. Исследователи взяли специализированные промпты для извлечения данных и добавили модный wrapper «ты полезный ассистент» с набором общих правил. Результат: точность извлечения рухнула со 100% до 90%, соблюдение ограничений в RAG-системах — с 93% до 80%. При этом следование общим инструкциям улучшилось на 13%. Метод Golden Set позволяет не ломать работающие промпты при попытке их «улучшить». Создаёшь набор из 20-50 типичных примеров своей задачи, прогоняешь старый и новый промпт, сравниваешь построчно. Если «улучшение» сломало точность на конкретных кейсах — видишь это ДО того как внедрил в работу.