Noisy Fine-Tuning – дообучение на «кривых» инструкциях делает LLM устойчивее к ошибкам

Модели, обученные на инструкциях с опечатками и перемешанными словами, работают лучше на реальных запросах пользователей, чем модели на «идеальных» данных. Метод позволяет не тратить время на вычитку каждой буквы в промпте — модель восстановит смысл из несовершенной формулировки. «Шум» в обучении заставляет LLM искать семантическое ядро задачи, а не цепляться за поверхностные признаки вроде порядка слов. Результат: модель понимает запрос даже с опечатками, но ломается при замене ключевых смысловых слов — именно они критичны, а не грамматика.