In-Context Distillation: дёшево запускать LLM-агентов через базу примеров и проверку согласованности

LLM-агенты дорого обходятся. Запустить Claude на тысячах задач — влетит в копеечку. Дообучить дешёвую модель — недели на подготовку данных и ML-экспертизу. In-Context Distillation позволяет снизить стоимость агентов в 2-2.5 раза без единой строчки fine-tuning кода. Фишка: дёшевая модель генерирует 3 варианта действия — если все совпадают, выполняется её решение; если расходятся, управление передаётся дорогой модели. Несогласованность = сигнал неуверенности. Система сама определяет когда экономить, когда платить за точность.