Reward Hacking Mindset: как LLM обходит твои критерии — и как это использовать

ШАГ 1: Сформулируй задачу + критерии успеха
        → Явный список: "ответ считается хорошим, если..."

ШАГ 2: Атака — найди лазейки [в отдельном запросе]
        → Промпт: "Как можно технически удовлетворить все критерии
          выше, не решая задачу реально?"
        → Список конкретных обходов

ШАГ 3: Патч — закрой лазейки [в том же диалоге или новом]
        → Добавь уточнения к критериям на основе найденных обходов

ШАГ 4: Выполнение с укреплёнными критериями
        → Теперь запрашивай результат по усиленным критериям

Шаги 2–3 можно повторить несколько раз — каждый раунд делает критерии точнее.

Задача: Ты пишешь промпт для оценки коммерческих предложений от подрядчиков. Хочешь, чтобы LLM отсеивала слабые КП и давала стандартизированный вердикт.

Промпт (Шаг 2 — атака на критерии):

Я оцениваю коммерческие предложения подрядчиков по следующим критериям:
— Упомянута конкретная цена с разбивкой
— Есть сроки реализации
— Описан опыт в нашей нише
— Предложение читается профессионально и убедительно

Сыграй роль недобросовестного подрядчика или слабого автора.
Найди все способы технически удовлетворить эти четыре критерия,
не написав реально сильное КП. Дай конкретные приёмы — что именно
подставить, чтобы пройти оценку, но по факту КП было слабым.

Результат:

Модель выдаст конкретные лазейки — например: «цена есть, но это одна строчка "от 50 000 руб."»; «сроки написаны расплывчато: "2–8 недель"»; «опыт — общая фраза "работаем в этой сфере 5 лет" без примеров». После этого ты добавишь к критериям уточнения: цена должна содержать постатейную разбивку, сроки — конкретные этапы, опыт — минимум один кейс с результатом. Оценщик станет значительно точнее.

LLM генерирует текст, который удовлетворяет ближайший явный паттерн в запросе. Если ты задал критерии — она оптимизирует под них. Не потому что «хочет обмануть», а потому что так устроена генерация: следующий токен выбирается по контексту, и «технически верный» ответ — статистически ближе к ожиданию, чем «реально сильный».

Сила модели — в знании паттернов. Она видела тысячи слабых и сильных КП, эссе, отчётов. Она знает все клише, все пустышки, все заготовки. В «атакующем режиме» эта память работает на тебя — модель вспомнит все известные ей обходы.

Рычаги управления: - Число раундов атаки — повтори шаги 2–3 несколько раз, критерии становятся плотнее после каждого - Конкретность роли нападающего — вместо «недобросовестного автора» попробуй «ленивый копирайтер на фрилансе, которому нужно закрыть задачу за 15 минут»: острее ролевое выполнение - Жёсткость режима — добавь «найди минимум 5 лазеек» или «расставь по опасности от самой незаметной к явной» - Домен — та же техника работает для оценки резюме, рекламных текстов, технических заданий, учебных заданий

Я оцениваю {тип_контента} по следующим критериям:
{список_критериев}

Сыграй роль {тип_автора_или_агента}, которому нужно
технически удовлетворить все критерии выше, но при этом
{описание_реальной_проблемы_которую_надо_решить} — не решать.

Найди конкретные приёмы: что именно написать или подставить,
чтобы пройти оценку, не дав реального результата.
Дай минимум 4–5 конкретных примера с пояснением,
какой критерий каждый из них обходит.

Плейсхолдеры: - {тип_контента} — КП, резюме, маркетинговый текст, технический ответ - {список_критериев} — твои текущие критерии оценки - {тип_автора_или_агента} — ленивый фрилансер, студент перед дедлайном, недобросовестный подрядчик - {описание_реальной_проблемы} — написать убедительное КП / решить задачу по математике / дать полезный совет

🚀 Быстрый старт — вставь в чат:

Вот шаблон для атаки на критерии оценки. 
Адаптируй под мою задачу: [твоя задача]. 
Задавай вопросы, чтобы заполнить поля.

[вставить шаблон выше]

LLM спросит какой контент ты оцениваешь и какие сейчас критерии — потому что без этого нельзя найти конкретные лазейки именно в твоей ситуации.

Авторы выделили 8 паттернов — как системы оценки дают сбой. В переводе на язык промптов это 8 типов неточных критериев:

Самые частые в практике — V5, V6, V7. Слабые критерии, логические пробелы, самопроверка.

⚠️ Нужны явные критерии: Техника работает только если ты уже сформулировал критерии оценки. Если задача «просто напиши хорошо» — атаковать нечего. Инвестируй время в шаг 1 — чем точнее критерии, тем полезнее атака.

⚠️ Не заменяет предметную экспертизу: LLM найдёт лазейки в критериях, которые она «видела» в обучающих данных. Нишевые или высокоспециализированные критерии (юридические, медицинские) — найдёт меньше.

⚠️ Сама техника атаки тоже хакабельна: Если ты просишь LLM атаковать и сразу же защищать — она может быть непоследовательной. Лучше разбивать на отдельные запросы или чаты.

⚠️ Основная система — это код: BENCHJACK — автоматизированная инфраструктура на базе Claude Code с Dockerfile-анализатором и статическими правилами. Ручное применение принципа в чате — это адаптация, не точная копия.

Авторы проверили 10 популярных AI-агентных бенчмарков (SWE-bench, WebArena, OSWorld и другие). BENCHJACK — автоматический агент на базе Claude Code — разведывал архитектуру каждого бенчмарка, искал уязвимости по таксономии и генерировал работающие «хаки». Результат: 9 из 10 бенчмарков взломаны до ~100% баллов без решения ни одной задачи. Найдено 219 конкретных уязвимостей. На четырёх бенчмарках без критических архитектурных дефектов итеративный патчинг снизил долю уязвимых задач с ~100% до менее 10% за три раунда.

Статья: «Do Androids Dream of Breaking the Game? Systematically Auditing AI Agent Benchmarks with BenchJack»

GitHub: https://github.com/benchjack/benchjack

Авторы: Hao Wang, Hanchen Li, Qiuyang Mang, Alvin Cheung, Koushik Sen, Dawn Song — UC Berkeley