TripTide: оценка адаптивности LLM при срывах в планировании путешествий

Парадокс: короткий план путешествия (3 дня) кажется проще для пересмотра, но модель раскидывает новые места по всему городу. Длинный (7 дней) — модель лучше держит географию, но хуже видит disruption (responsiveness падает на 10%). TripTide — первый бенчмарк для измерения того, как LLM переделывают планы при реальных срывах: отменили рейс, закрыли музей, проблемы с отелем. Исследование вводит три новых метрики для оценки пересмотренных планов: Preservation of Intent (сохранил ли цели поездки), Responsiveness (среагировал ли на disruption вообще), Adaptability (насколько сильно изменился план по смыслу/географии/последовательности). GPT-4o держит 80%+ responsiveness для 3-day планов, но падает до 79% для 7-day.