Reframing-тест: как отличить настоящую "любимую" тему модели от случайности формулировки

LLM, которую 30 раз просят назвать 'случайную' бабочку, все 30 раз отвечает 'Монарх' — и даже смена формулировки этого не лечит. А вот 'случайное число' в 73% случаев даёт '42', но стоит спросить 'число для розыгрыша' — топ-ответ падает до 13%. Метод различает две разные проблемы одним простым тестом: спросить в лоб несколько раз, потом переформулировать в бытовые сценарии без слова 'случайный' — и посмотреть, исчезнет залипание или нет. Если ответ держится в обоих случаях — это зашито глубоко на этапе предобучения, если пропадает — виновата просто формулировка вопроса.