SOP-Maze: почему LLM теряются в сложных бизнес-процедурах

LLM систематически ошибаются в реальных бизнес-процедурах (SOP — standard operating procedures). 5 шагов и 58 вариантов действий — модель теряется как в лабиринте, даже лучшая справилась лишь с 46% задач из 397. Речь не о простых инструкциях, а о многоступенчатых процедурах: обработка жалоб, бронирования, массовые заказы. Обнаружено: модель фиксируется на первой реплике и игнорирует обновления диалога. Клиент грозит жалобой, потом говорит 'забудьте' — модель видит только жалобу из начала и запускает полную процедуру. Решение: разбивать процедуры на этапы и явно указывать приоритет последних реплик.