Чувствительность LLM к форматированию: почему мелкие изменения ломают результат

Знакомая боль: вчера промпт работал идеально, сегодня после мелкой правки – полная ерунда. ServiceNow протестировали 11 моделей (от 4B до 120B параметров) на устойчивость к пяти типам изменений: пробелы, пунктуация, перестановка секций, смена формата вывода (JSON/XML/YAML), многоязычные входы. Результат: небольшие изменения ломают качество до 40 процентных пунктов. Больше всего модели чувствительны к перестановке секций промпта (−18 п.п.) и многоязычным входам (−15 п.п.). Неожиданно: размер модели не спасает – Ministral 3 8B обходит GPT OSS 120B, а Llama 3.1 8B показала худший результат среди всех одиннадцати.