Template Ensembles: обход чувствительности LLM к форматированию через голосование

Парадокс: меняешь двоеточие на перенос строки в промпте – точность падает на 15-20%. LLM чувствительна к форматированию (пробелы, регистр, пунктуация) так же сильно, как к смыслу задачи. Template Ensembles позволяет получать стабильные ответы на важных задачах (классификация, выбор вариантов), когда цена ошибки высока. Запускаешь одну задачу 5-10 раз с разными форматами (Question: vs QUESTION\n, A/B vs 1/2), собираешь ответы, выбираешь большинством голосов. Шум от форматирования разный в каждом запросе, правильный ответ побеждает через голосование – точность стабилизируется даже на GPT-4.