Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
Language Alignment in ICL: как научить LLM понимать язык через параллельные примеры
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Парадокс: Дообучение на 700 примерах даёт оверфит и точность 30%, а 3 параллельных примера в промпте — 49%. Для языков которых почти нет в предобучении LLM (татарский, узбекский, языки меньшинств), file-tuning проваливается из-за побайтовой токенизации. Language Alignment решает проблему: добавь в промпт пары "текст на языке X + его английский перевод" БЕЗ меток задачи — модель начинает улавливать связи между языками и понимать незнакомую речь. Два варианта: sentence-level (параллельные предложения целиком) и word-level (словарь: слово→перевод).
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку