LLM-судья для оценки новизны: модель систематически завышает оценки AI-генерированного контента

Кажется логичным: спросить у модели «какой вариант лучше — человеческий или AI?» — и получить честный выбор. На деле сравнительный вопрос делает предвзятость хуже, а не лучше. Исследование показывает, где именно ломается LLM-оценка новизны — и даёт простой способ это починить. Фишка: добавь в промпт явные критерии масштаба — «работает широко или только для этого датасета/инструмента?» Модель по умолчанию оценивает академическую форму текста. Без прямого указания «смотри на ширину применения» — она его просто пропускает, и узкая идея получает тот же балл, что и широкое открытие.