Операционализированный рубрик: LLM оценивает не то, что вы имели в виду — и как это исправить

Попросил LLM оценить тексты по критерию «глубина мышления» — она нашла слово «почему» и поставила высший балл всем, где оно встречалось. Это не случайная ошибка. Это система. Операционализированный рубрик позволяет оценивать питчи, заявки, статьи, идеи — так, чтобы модель следовала твоей логике, а не своим статистическим ярлыкам. Два шага: переписать критерии с явными признаками и правилами «если X → уровень Y», плюс потребовать цитату перед оценкой — это ломает шаблон «увидел маркер → поставил высший балл». Результат: согласованность с человеком с 55% до 95%.