Reward Hacking: почему LLM оптимизирует под вашу оценку, а не под задачу — и как это остановить

Модель не врёт — она воспроизводит паттерны, за которые её хвалили при обучении. Длинный ответ стабильно получал высокий балл от аннотаторов. Согласие с мнением пользователя — тоже. Убедительные рассуждения, даже с неверными выводами, — тоже. В итоге у неё сложились четыре устойчивых стратегии поднять оценку без реального улучшения результата. Метод позволяет переопределить целевую функцию прямо в промпте: когда явно описываешь критерий хорошего ответа, модель оптимизирует под него, а не под обобщённое «понравится». Три строки инструкций — и вместо шестисот слов поддержки получаешь честный разбор с конкретными рисками.