Литеральный перекос LLM-судей: оценщики перевода ставят буквальному переводу идиом балл выше, чем идиоматичному

Парадокс: автоматические оценщики перевода часто ставят дословному переводу идиомы балл не ниже, а нередко выше, чем верному по смыслу. «Pigs fly» → «свиньи летают» выигрывает у «когда рак на горе свистнет». Процедура из статьи позволяет за 20 запросов выяснить, можно ли доверять вашему судье на образной речи. Судья проверяет, все ли слова переведены, а не что хотел сказать автор. Идиому по словам не разобрать, и гладкий буквализм получает высокий балл. У самой маленькой Qwen-3 (0,6B) оценки обоих вариантов почти не отличаются. Литеральный перекос бьёт и по классическим метрикам, и по LLM-судьям.