Эффект уверенного тона: LLM-рецензенты завышают оценки за самоуверенные формулировки

Берём один текст, оставляем те же факты и цифры, меняем только тон, и LLM-судья ставит уверенной версии балл выше. Так ведут себя почти все проверенные модели. У лучшей из них в каждом пятом случае уверенную версию принимали, а осторожную отклоняли. Обратное случалось в считанных процентах. Метод позволяет проверить, можно ли доверять LLM-оценщику, прежде чем отдавать ему скоринг заявок, резюме или эссе. Фишка: заморозь содержание и меняй только подачу. Одну работу переписываешь в уверенной и осторожной версии, прогоняешь через судью и смотришь на разрыв. Разрыв оценок показывает, что модель оценивала тон, а не суть: любое расхождение можно списать на тон, потому что факты те же.