MCP-Universe: бенчмарк для тестирования LLM на реальных инструментах через Model Context Protocol

Парадокс: Подключи к LLM 94 инструмента вместо 20 релевантных — точность упадёт с 22% до 11%. Больше возможностей = хуже результаты. MCP-Universe — первый бенчмарк для тестирования LLM на реальных внешних инструментах (Google Maps, GitHub, финансовые API) через Model Context Protocol. Даже GPT-5 проваливает 56% задач, Claude-4.0 — 70%. Исследователи обнаружили три критические проблемы: long context (контекст раздувается до 60-80k токенов, модель теряет фокус), unknown tools (LLM не знают точных требований API), more tools = worse (шум от нерелевантных инструментов сильнее пользы от выбора).