Reflect-and-Revise для рубрик: как LLM улучшает свои критерии оценки через рефлексию

Парадокс: Даже идеальная экспертная рубрика может давать плохие результаты с LLM. Модель интерпретирует критерии иначе чем человек — формулировка кажется понятной, но модель её читает по-своему. Reflect-and-Revise позволяет LLM создавать критерии оценки под свою логику работы — не угадывать их заранее, а улучшать через анализ ошибок. Модель оценивает примеры, видит где ошиблась, переформулирует критерии под себя. 10 итераций — и модель приходит к критериям точнее экспертных, даже начав с примитивного «оцени от 1 до 6».