Kalahi - ручной, основанный на grassroots, набор инструментов для оценки культурных языковых моделей для филиппинцев.

Исследование представляет собой создание и тестирование набора из 150 детализированных промптов (KALAHI), разработанных носителями филиппинского языка для оценки культурной адекватности LLM. Авторы показывают, что ведущие языковые модели плохо справляются с задачами, требующими понимания локальных культурных норм, ценностей и жизненных ситуаций, даже если они позиционируются как многоязычные.

Ключевой результат: LLM не обладают встроенным "культурным здравым смыслом" и требуют явного указания культурного, социального и личного контекста в промпте для генерации адекватных и полезных ответов.

Суть метода, который можно извлечь из этого исследования, заключается в переходе от простых запросов кконтекстуально-обогащенным промптам. Авторы наглядно доказывают, что стандартные ответы LLM основаны на обобщенных, преимущественно западных данных, и часто оказываются бесполезными или даже вредными в специфической культурной среде.

Например, на совет человеку с низким доходом немедленно обратиться к врачу модель смотрит как на логичный, но в реальности такой совет может быть вредным, так как недоступен финансово.

Практическая методика для пользователя заключается в том, чтобы перед основной инструкцией всегда создавать "преамбулу", которая погружает LLM в нужную реальность. Эта преамбула должна состоять из нескольких частей, как это сделано в исследовании:

1. [User] Описание пользователя: Кто вы? Ваш возраст, социальная роль, профессия.
2. [Context] Общий контекст ситуации: Где и когда происходит действие? Каково окружение?
3. [Personal Situation] Личный контекст и ограничения: Ваши ценности, финансовое положение, убеждения, цели, ограничения. Это самый важный компонент.
4. [Instruction] Инструкция: Что конкретно нужно сделать модели.

Этот подход заставляет модель генерировать ответ не из своего "усредненного мировоззрения", а из той роли и ситуации, которую вы для нее определили.

*Прямая применимость:Пользователь может напрямую использовать структуру[User],[Context],[Personal Situation],[Instruction]для формулирования своих запросов в любом чат-боте. Это не требует никаких специальных знаний или инструментов. Нужно просто более подробно описывать ситуацию, разбив ее на логические блоки.

• Концептуальная ценность: Главный инсайт — LLM является "иностранцем" в любой культуре, будь то национальная, корпоративная или семейная. Он не знает неписаных правил, ценностей и ограничений. Задача пользователя — "объяснить правила игры" в самом промпте. Это помогает перестать ожидать от LLM телепатических способностей и начать давать ему качественные инструкции.

• Потенциал для адаптации: Метод легко адаптируется под любую задачу. "Филиппинская культура" — это лишь один из примеров специфического контекста.

  • Механизм адаптации: Замените "культурный контекст" на любой другой.
    • Для написания делового письма: опишите корпоративную культуру вашей компании (формальная/неформальная, быстрая/консервативная).
    • Для помощи с домашним заданием ребенка: опишите уровень знаний ребенка, его сильные/слабые стороны и требования учителя.
    • Для планирования путешествия: опишите стиль отдыха вашей семьи (активный/пляжный, бюджетный/люкс) и интересы каждого члена семьи.

Этот промпт эффективен, потому что он не просто просит "идеи для юбилея", а создает для LLM полную картину мира, в котором нужно действовать.

• [User] и [Context] задают сцену и роли (внучка, бабушка, семья, загородный дом).
• [Personal Situation] — это ключевой фильтр. Указания на ограниченный бюджет, традиционные взгляды и цель создать душевную атмосферу отсекают стандартные и неуместные предложения вроде "пригласите диджея", "устройте квест" или "закажите файер-шоу".
• [Instruction] четко формулирует задачу и, что очень важно, задает негативные ограничения ("исключают активные игры", "молодежные развлечения").

В результате модель вынуждена работать в узком, но четко очерченном коридоре, что приводит к генерации гораздо более релевантных и полезных идей, таких как "создание семейного фотоальбома", "вечер воспоминаний" или "мастер-класс по росписи пряников".

Этот промпт работает, потому что он заставляет LLM отказаться от стандартных, клишированных сопроводительных писем, которые легко найти в интернете.

• [User] и [Context] определяют специфику ситуации: не крупная корпорация, а маленький неформальный IT-стартап. Это сразу меняет ожидаемый тон письма.
• [Personal Situation] раскрывает истинные мотивы и ограничения соискателя (нет опыта, важнее обучение, интроверт). Этот блок не дает модели сгенерировать хвастливое письмо о несуществующих достижениях и помогает сфокусироваться на честности и мотивации.
• [Instruction] дает очень точные указания по содержанию и тону (акцент на мотивации, избегай шаблонных фраз). Это позволяет получить персонализированный текст, который с большей вероятностью привлечет внимание рекрутера в небольшой компании, где ценят индивидуальность.

• A. Релевантность техникам промтинга: Высокая. Исследование предлагает конкретную, хоть и концептуальную, структуру промпта, разделяя его на компоненты: User, Context, Personal situation, Instruction. Это прямо влияет на формулировку запросов.
• B. Улучшение качества диалоговых ответов: Высокое. Основная цель исследования — добиться от LLM культурно-адекватных и релевантных ответов, что является прямым улучшением качества в диалоговых сценариях, где важен контекст.
• C. Прямая практическая применимость: Высокая. Пользователь может немедленно применить принцип детализации контекста (описание пользователя, ситуации) в своих промптах без каких-либо технических средств. Методика универсальна.
• D. Концептуальная ценность: Очень высокая. Это ключевая сила исследования для обычного пользователя. Оно блестяще иллюстрирует, что LLM не обладает "человеческим здравым смыслом" или культурным кодом по умолчанию. Оно помогает сформировать правильную "ментальную модель" LLM как мощного, но культурно слепого инструмента, который нужно направлять.
• E. Новая полезная практика (кластеризация): Работа попадает сразу в несколько ключевых кластеров:
  • 1. Техники формулирования промптов: Предлагается структурированный подход к описанию контекста.
  • 2. Поведенческие закономерности LLM: Демонстрируется фундаментальная закономерность — без явного культурного контекста модели дают нерелевантные или даже вредные советы.
  • 3. Оптимизация структуры промптов: Использование явных блоков для описания ситуации — это и есть оптимизация структуры.
  • 6. Контекст и память: Работа полностью посвящена важности предоставления богатого контекста.
  • 7. Надежность и стабильность: Методика направлена на снижение "культурных галлюцинаций" и повышение надежности ответов в специфических условиях.
• Чек-лист практичности (+15 баллов): Да, исследование дает структуру для сложных запросов, раскрывает неочевидные особенности поведения LLM (культурная слепота) и предлагает способ улучшить точность ответов. Бонус в 15 баллов применен.

Аргументы в пользу оценки (88/100): Эта работа имеет огромную практическую и концептуальную ценность. Она учит пользователя самому главному принципу продвинутого промпт-инжиниринга: LLM не знает вашего мира, опишите его. Вместо того чтобы просто задавать вопрос, пользователь учится создавать "микро-реальность" внутри промпта, что кардинально повышает релевантнсть ответов. Предложенная структура (User, Context, Personal Situation) — это простой и мощный инструмент, который можно немедленно взять на вооружение. Хотя исследование сфокусировано на филиппинской культуре, его выводы абсолютно универсальны и применимы к любой специфической области: от корпоративной культуры до семейных традиций или профессионального сленга.