GPT может оценивать сложный текст почти как человек: валидация машинных рейтингов для метафор

Хочешь проверить, не заезжен ли твой слоган? Опрос людей долго и дорого. GPT позволяет оценить знакомость и понятность метафор, идиом, заголовков — модель показывает корреляцию с людьми 0.79 для понятности и 0.61-0.65 для знакомости. Фишка: GPT ловит частотность паттернов в обучающих данных — видит, как часто выражение встречалось, и оценивает заезженность. Но модель проваливается на метафорах про тело и движение (корреляция падает до 0.37) — нет физического опыта, работает только с текстом.