Ranked-Response Diagnostics: как поймать систематическую путаницу LLM в похожих понятиях

Обнаружено: LLM путает похожие понятия не случайно, а в одну сторону — как воронка с одним выходом. Ценность «забота обо всех людях» модель почти всегда сводит к более простой «заботе о близких», но не наоборот. Метод ranked-response позволяет найти правильный ответ, даже когда модель ошиблась в первом варианте — в 68% случаев он прячется на 2-3 месте списка. Модель не угадывает наугад — она путает соседей по смыслу, и это легко поймать: попроси не один ответ, а топ-3.