Шкальные оценки LLM отражают формат вопроса, а не содержание

Claude ставит бизнес-идее 8 из 10. GPT — 6 из 10. Кто прав? Скорее всего, оба врут: до 90% разницы объясняется не качеством идеи, а тем, что каждая модель системно гнёт в свою сторону шкалы вне зависимости от содержания. Метод ортогональных пар позволяет поймать это смещение и получить оценки, которым можно доверять. Фишка: задай один и тот же вопрос в прямой и обратной формулировке в разных чатах — если оба ответа высокие, модель просто любит высокие числа, а не хвалит твою идею. Реальный победитель — объект с наибольшей разницей между прямой и обратной оценкой.