Generate-Evaluate-Iterate: как настроить LLM-судью через синтетические тестовые примеры

Проблема: Настроил критерий оценки для LLM-судьи, проверил на 5 очевидных примерах — работает. Запустил на реальных данных — модель лажает на половине случаев. Метод Generate-Evaluate-Iterate позволяет находить и закрывать слепые зоны в критериях через генерацию целевых тестовых примеров — особенно граничных случаев, которых в реальных данных почти нет. Фишка: несовпадение твоего ожидания и оценки LLM — не баг, а сигнал. Ты думаешь 'это A', модель говорит 'это B' → читаешь объяснение → видишь где критерий двусмысленный → уточняешь формулировки. 83% участников исследования выбрали этот метод вместо ручного поиска примеров.