Итеративный Few-Shot: учим LLM на её ошибках

LLM лучше учится на простых примерах и масштабирует знания на сложные задачи, чем если сразу давать примеры той же сложности. Звучит нелогично, но работает: Gemini 2.0 решает только 35% задач с перевёрнутым приоритетом операций (сложение важнее умножения), DeepSeek-Chat — 34%. Метод итеративного few-shot позволяет научить модель нестандартным правилам (формулы компании, специфическая логика расчётов), которые конфликтуют с базовыми знаниями. Фишка: собираешь примеры не случайно, а из задач где модель ошибается. Прогоняешь модель через обучающий набор, каждый провал → добавляешь в few-shot промпт. Так создаёшь промпт заточенный под слабые места конкретной модели.