Юмор-ловушка: LLM оценивает ваш список по позиции и собственному вкусу — не по реакции аудитории

Три модели единогласно выбирают первый заголовок. Кажется — вот оно, верное решение. На деле — просто эхо-камера: LLM согласны друг с другом в 21-45% случаев, а с живой аудиторией — только в 13-18%. Этот разрыв позволяет понять как получать оценку контента через прогноз реакции людей, а не через вкус модели. Фишка: попроси оценить каждый вариант отдельно до сравнения — позиционный сдвиг (статистически подтверждён по пяти моделям, p < 0.001) резко падает. Добавь описание аудитории и вопрос 'почему это остановит скролл?' — модель переключается с 'мне нравится' на 'им зайдёт'.