Дилемма few-shot: когда больше примеров — хуже

Парадокс: Больше примеров в промпте = хуже результат. Исследователи Siemens тестировали на семи моделях: производительность растёт до 5-20 примеров, потом падает. LLaMA-3.2-3B вообще начинает выдавать случайные ответы после 20 примеров. Фишка: выбирай примеры не по общей теме, а по конкретным маркерным словам. TF-IDF (отбор по частоте ключевых слов) разнёс semantic embedding — слово "latency" важнее общего понятия "производительность". LLaMA-3.1-8B с 7 правильными примерами обошла fine-tuned BERT на 1%.