Overlap Bias: LLM-судьи предпочитают AI-саммари человеческим

Парадокс: LLM-судья оценивает AI-саммари выше человеческих в 60-70% случаев — даже когда человеческие объективно точнее. Проверили 9 моделей от 1B до 12B параметров, паттерн одинаковый. Понимание этого смещения позволяет не полагаться слепо на LLM-оценки при выборе между своим текстом и AI-версией. Модель распознаёт стилистические маркеры AI-текстов — что-то в структуре фраз, выборе слов — и это влияет на оценку сильнее чем смысловая близость к эталону. Чем меньше общих фраз с человеческим саммари — тем сильнее предпочтение к AI.