LLM-судья предвзят: модель систематически завышает оценки AI-написанных текстов

Три LLM-судьи проверили один и тот же медицинский перевод — все три поставили высокий балл и похвалили точность терминологии. Два радиолога нашли критическую ошибку: «sequela fibrotic changes» превратилось в «прогностический симптом» — принципиально разные вещи. Метод структурированной оценки позволяет вытащить наружу то, что LLM прячет за гладкостью изложения — фактические ошибки в конкретных проверяемых утверждениях. Фишка: явный запрет оценивать стиль переключает модель с «звучит как правильный термин» на «является ли это правильным термином» — разница между оценкой упаковки и содержимого.