LLM как судья качества перевода: где модель сравнима с разметчиком, а где слепа

Модель ставит высокий балл переводу на неверном варианте языка, хотя люди за него ставили ноль. Литературный арабский вместо египетского она сочла нормальным. Подход позволяет использовать LLM как быстрого первого рецензента перевода: крупные ошибки смысла она находит почти как человек, и редактор экономит время. Язык и вариант проверяй отдельным вопросом, а ошибки проси цитатой из текста, не номерами символов. Модель не считает позиции, она генерирует текст. Поэтому у большинства моделей почти все указанные индексы попадают мимо.