MAPS: Многоязычный бенчмарк для глобальной производительности и безопасности агентов

Исследователи создали и протестировали набор задач для LLM-агентов на 12 языках и обнаружили, что производительность и безопасность систем значительно снижаются при использовании любого языка, кроме английского. Падение качества напрямую связано с долей неструктурированного текста на другом языке в промпте: чем больше в запросе рассуждений на естественном языке (а не кода или формул), тем хуже результат.

Ключевой результат: LLM-агенты не являются по-настоящему равноправно многоязычными; они "думают" и рассуждают значительно эффективнее на английском языке.

Суть исследования заключается в том, чтобы измерить, насколько хорошо LLM-агенты справляются с задачами, когда инструкции даны не на английском языке. Авторы взяли популярные тесты на логику, кодинг, математику и безопасность, перевели их на 11 языков и сравнили результаты с "эталонным" английским.

Главный вывод: Производительность LLM — это не константа. Она сильно зависит от языка ввода. Представьте, что LLM — это гениальный эксперт, который свободно говорит по-английски, а все остальные языки знает на уровне хорошего, но не носителя. Он поймет запрос на другом языке, но его способность к глубоким рассуждениям, анализу нюансов и творческому решению проблем будет снижена.

Исследование показало, что эта "просадка" особенно заметна в задачах, где важен неструктурированный текст и контекст (например, планирование или анализ ситуации), и менее заметна там, где много универсальных символов (код, математические формулы).

Практическая методика для пользователя:

1. Оцените сложность задачи. Если вам нужен простой ответ, перевод или генерация короткого текста, используйте свой родной язык.
2. Для сложных задач — переключайтесь на английский. Если задача требует многошаговых рассуждений, анализа, сравнения, разработки стратегии или любой другой комплексной когнитивной работы, сформулируйте промпт на английском языке. Это даст модели доступ к ее максимальным "вычислительным мощностям".
3. Используйте "само-перевод" как компромисс. Если вы не владеете английским на достаточном уровне, но задача сложная, можно использовать гибридный подход. Дайте модели инструкцию на своем языке, но добавьте в промпт явное указание: "Сначала переведи мой запрос на английский, реши задачу, а затем дай ответ на моем языке". Это заставит модель выполнять основную "мыслительную" работу на английском.

• Прямая применимость:

  • Для неанглоязычных пользователей: Чрезвычайно высокая. Пользователь, столкнувшийся с некачественным ответом на своем родном языке, может немедленно переформулировать сложный запрос на английском и получить значительно лучший результат.
  • Для всех пользователей: Техника "self-translate" (попросить модель сначала перевести запрос на английский) — это готовый паттерн, который можно вставить в промпт для повышения надежности.

• Концептуальная ценность:

  • Формирует у пользователя правильную "ментальную модель": LLM — это не универсальный "цифровой мозг", а англоцентричная технология. Это знание помогает лучше диагностировать проблемы ("почему ответ плохой?") и предсказывать, где модель может дать сбой.
  • Объясняет, почему для задач с кодом или формулами язык менее важен — эти элементы сами по себе являются "языком", который модель хорошо понимает.

• Потенциал для адаптации:

  • Метод прост и не требует адаптации. Основной принцип — "используй английский для сложного" — универсален. Пользователь может сам экспериментировать, определяя границу "сложности", после которой стоит переключаться на английский. Это превращается в личную эвристику для повышения эффективности.

Представим, что пользователь из Франции хочет разработать контент-план для своего блога о путешествиях.

**Role:** You are an expert SMM strategist and content creator.

**Context:** I run a personal travel blog focused on budget-friendly travel in Europe for young adults (20-30 years old). The blog's tone is informal, adventurous, and inspiring. My goal for the next 3 months is to increase audience engagement (likes, comments, shares) by 20%.

**Task:** Develop a detailed 1-month content plan for my blog's Instagram account.

**Instructions:**
1.  **Content Pillars:** Propose 3-4 main content pillars (e.g., "City Guides," "Budget Tips," "Hidden Gems").
2.  **Post Ideas:** For each pillar, provide 5 concrete post ideas. Each idea should include:
    *   A catchy headline.
    *   A brief description of the content (what to show/tell).
    *   The recommended format (e.g., Carousel, Reel, Story with a poll).
3.  **Engagement Strategy:** Suggest 3 specific tactics to encourage comments and shares on the posts.

**Output Format:**
Please structure your response using clear headings, bullet points, and bold text for easy reading.

Этот промпт, сформулированный на английском языке, напрямую использует выводы исследования.

• Механика: Задача ("разработать детальный контент-план") требует многошаговых рассуждений, креативности и понимания стратегических целей (увеличение вовлеченности). Согласно исследованию MAPS, это именно тот тип задач, где производительность LLM на языках, отличных от английского, значительно падает.
• Результат: Формулируя запрос на английском, пользователь "включает" модель на полную мощность. Вероятность получить структурированный, креативный и релевантный целям ответ гораздо выше, чем при аналогичном запросе на французском. Модель лучше поймет нюансы ("budget-friendly," "adventurous tone") и выстроит более сложную логическую цепочку от цели (рост вовлеченности) к конкретным действиям (идеи для постов и тактики).

Пользователь из России хочет проанализировать отзывы клиентов на свой продукт (например, кофейню) и получить структурированную сводку. Он не очень хорошо владеет английским.

**Контекст:**
Ниже приведены 15 отзывов клиентов о моей кофейне "Уютный Уголок".

<отзыв 1>
"Кофе просто супер, бариста всегда улыбается! Но столики очень близко друг к другу, тесновато."

<отзыв 2>
"Очень люблю ваш флэт уайт, лучший в городе. Жаль, что Wi-Fi постоянно отваливается, работать невозможно."

... (и так далее, еще 13 отзывов) ...
<отзыв 15>
"Десерты божественные, особенно чизкейк. Но музыка играет слишком громко, не поговорить."


**Задача:**
Проанализируй все отзывы и подготовь краткую сводку для меня, владельца.

---
**ВАЖНАЯ ИНСТРУКЦИЯ:**
**Прежде чем выполнять анализ, мысленно переведи весь мой запрос и все отзывы на английский язык. Выполни всю работу по анализу и структурированию на английском. После этого предоставь финальный ответ на русском языке.**
---

**Требования к ответу:**
1.  Выдели 3 главных **положительных аспекта**, которые чаще всего упоминают клиенты.
2.  Выдели 3 главных **негативных аспекта** (проблемные зоны), на которые мне нужно обратить внимание.
3.  Предложи 2 конкретных и недорогих **решения** для самой частой проблемы.

**Формат ответа:**
Используй заголовки и списки.

Этот промпт иллюстрирует технику "self-translate", которая является прямым следствием выводов исследования.

• Механика: Пользователь дает задачу на своем родном языке, но вставляет "мета-инструкцию" (ВАЖНАЯ ИНСТРУКЦИЯ...). Эта команда заставляет модель сначала перевести весь контекст и задачу на английский. Основная когнитивная работа — классификация мнений, выявление закономерностей, синтез выводов и предложение решений — происходит на английском языке, где, как показало исследование, логические способности модели максимальны.
• Результат: Это снижает риск того, что модель неправильно интерпретирует нюансы отзывов, упустит повторяющиеся жалобы или даст поверхностные, нерелевантные решения. Заставив модель "думать" на английском, мы повышаем надежность и глубину анализа, даже если изначальное общение происходит на другом языке. Это компромиссный вариант для тех, кто не может или не хочет полностью переходить на английский.