Контаминация в машинном переводе: как запоминание целевого языка влияет на оценку LLM

Замена одного названия города в промпте снижает качество ответа на 5-20 пунктов. Это признак что модель заучила паттерн из обучающих данных, а не строит логику. Метод позволяет проверить понимает ли LLM твою задачу или воспроизводит шаблон. Замени конкретные детали (компании, города, имена) на вымышленные — если логика поплывёт, ответ был шаблонным.