Prompt Caching: как структурировать промпты для экономии и скорости

Парадокс: кешировать весь промпт = замедление работы, а не ускорение. Провайдеры LLM (OpenAI, Anthropic, Google) автоматически сохраняют обработанные части промптов для переиспользования. Но если закешировать динамический мусор (timestamps, user ID, результаты поисков) — тратится время на запись в кеш, который никогда не будет прочитан. Каждая сессия уникальна → кеш бесполезен → overhead растёт. Исследование показало: full context caching на GPT-4o ухудшил скорость на 8.8% вместо улучшения. Метод позволяет экономить деньги и время при агентных задачах с 30-50 вызовами инструментов: кешируй только стабильный контент (system prompt с ролью, инструкциями, правилами), а динамику (дата, конкретные данные) размещай в конце или отдельным сообщением. Стабильная часть в 10k токенов кешируется один раз, затем переиспользуется в каждом из 30+ запросов → экономия 45-80% на API, ускорение первого ответа на 13-31%.