TL;DR
LELA — метод для задачи Entity Linking (определение какую именно сущность упоминает текст: "Париж" = столица Франции или роман Золя?). Работает в три этапа: широкий поиск кандидатов (BM25 или dense retrieval) → точечная оценка каждого кандидата через reranker → финальный выбор через LLM с рассуждением. Каждый этап сужает выбор: 200 кандидатов → 10 лучших → 1 ответ.
Исследование показало, что разделение выбора на этапы работает лучше чем прямой поиск. Когда LLM видит сразу 200 вариантов — теряется. Когда видит топ-10 после предварительной фильтрации — выбирает точнее. Ещё один инсайт: генерация нескольких рассуждений с голосованием (self-consistency) повышает точность на 7-10 процентных пунктов — даже 3 попытки дают плато результата.
LELA использует самоконсистентность — LLM генерирует 10 разных рассуждений для выбора, потом выбирается ответ по большинству голосов. Также исследование подтвердило важность thinking tokens (рассуждения перед ответом) — без них точность падает на 15-20 пунктов.
Схема метода
ШАГ 1 (Candidate Generation): Широкий поиск по базе знаний
→ 64-200 потенциальных сущностей
ШАГ 2 (Reranking): Точечная оценка каждого кандидата
→ Топ-10 лучших по релевантности
ШАГ 3 (LLM Selection): Рассуждение + выбор финального ответа
→ Генерация 10 рассуждений → выбор по большинству голосов
→ Один финальный ответ
Этапы 1-2 требуют инфраструктуры (retriever, reranker). Этап 3 — стандартный LLM-инференс.
Пример применения
Задача: Выбрать самую перспективную бизнес-идею из 50 вариантов для стартапа в EdTech.
Этап 1 — Широкий отбор:
У меня список из 50 идей для EdTech стартапа. Вот критерии оценки:
{критерии: размер рынка, сложность реализации, конкуренция}
Вот все идеи: {список 50 идей}
Оцени каждую идею по критериям от 1 до 10.
Выдай топ-15 с баллами и кратким обоснованием.
Этап 2 — Глубокая оценка:
Вот 15 лучших идей из первого этапа: {топ-15}
Теперь для каждой идеи дай развёрнутую оценку:
- Почему она может выстрелить
- Какие главные риски
- Что нужно для MVP
- Итоговый балл 1-100
Выдай топ-5.
Этап 3 — Финальный выбор с самоконсистентностью:
Вот 5 финалистов с их оценками: {топ-5}
Сгенерируй 5 разных рассуждений — в каждом выбери ОДНУ лучшую идею.
Используй разные углы анализа: риск/доходность, скорость выхода на рынок,
личные сильные стороны команды, тренды рынка, технологическая сложность.
Формат каждого рассуждения:
Выбор: [номер идеи]
После 5 рассуждений — подведи итог какая идея выиграла по большинству голосов.
Результат: Получишь 5 разных углов анализа одной и той же пятёрки финалистов. Модель покажет 5 блоков рассуждений, в каждом — своя логика выбора. В конце — консенсус по большинству. Если 3 из 5 рассуждений выбрали идею №2 — она и есть наиболее устойчивый выбор.
Почему это работает
Слабость LLM: Когда модель видит сразу много вариантов (50-200), качество выбора падает. Длинный контекст размывает внимание, модель теряет нюансы, может пропустить лучший вариант посередине списка. Одного прохода недостаточно чтобы взвесить все варианты.
Сильная сторона LLM: Модель хорошо сравнивает и оценивает небольшое число вариантов (до 10-15). Хорошо рассуждает пошагово когда видит структурированные данные. Хорошо находит паттерны когда делает несколько попыток с разных углов.
Как метод использует силу: Разбивает большую задачу на этапы сужения. Первый этап — грубая фильтрация по явным критериям (отсекает слабые варианты). Второй этап — точечная оценка каждого выжившего варианта (даёт глубину анализа). Третий этап — LLM работает с топ-10, где каждый вариант достоин внимания, и генерирует несколько независимых рассуждений. Голосование по большинству снижает случайную ошибку.
Рычаги управления:
- Число кандидатов на каждом этапе — уменьши до 30 → 7 → 3 для простых задач, сэкономишь токены
- Число рассуждений (самоконсистентность) — исследование показало что 3-5 достаточно, плато достигается быстро; 10 — перебор для большинства задач
- Критерии отбора — на первом этапе используй количественные (цифры, факты), на втором — качественные (риски, возможности)
- Углы анализа — задай разные роли для разных рассуждений (оптимист, скептик, финансист) — разнообразие повышает робастность консенсуса
Шаблон промпта
Для задач многовариантного выбора:
ЭТАП 1: Широкий отбор
У меня {число} вариантов для {задача}.
Критерии: {список критериев}
Варианты: {все варианты}
Оцени каждый вариант по критериям. Выдай топ-{число1} с баллами и обоснованием.
---
ЭТАП 2: Глубокая оценка
Вот топ-{число1}: {результаты этапа 1}
Для каждого варианта дай развёрнутый анализ:
- {аспект 1}
- {аспект 2}
- {аспект 3}
- Итоговый балл
Выдай топ-{число2}.
---
ЭТАП 3: Финальный выбор с самоконсистентностью
Финалисты: {результаты этапа 2}
Сгенерируй {N} разных рассуждений — в каждом выбери ОДИН лучший вариант.
Используй разные углы: {угол 1}, {угол 2}, {угол 3}...
Формат:Выбор: [номер варианта]
После всех рассуждений — подведи итог по большинству голосов.
Пояснения:
- {число} — общее количество вариантов (20-100+)
- {число1} — размер первой воронки (обычно 10-20% от исходных)
- {число2} — размер второй воронки (3-7 финалистов)
- {N} — число рассуждений для самоконсистентности (3-5 достаточно)
- {углы} — разные перспективы анализа (роли, критерии, сценарии)
Этапы выполняются в отдельных сообщениях — скопируй результат предыдущего этапа в следующий.
🚀 Быстрый старт — вставь в чат:
Вот трёхэтапный метод выбора из многих вариантов с сужением на каждом шаге.
Адаптируй под мою задачу: [твоя задача выбора].
Задай вопросы чтобы заполнить:
- Какие критерии использовать на первом этапе
- Какие аспекты анализировать на втором
- Какие углы/роли использовать для рассуждений на третьем
- Какие числа вариантов оставлять на каждом этапе
[вставить шаблон выше]
LLM спросит про специфику твоего выбора — чтобы настроить критерии отбора, аспекты анализа и углы рассуждений под конкретную задачу. Она возьмёт трёхэтапную структуру и адаптирует.
Ограничения
⚠️ Требует инфраструктуры для полной реализации: Оригинальный LELA требует retriever (BM25/dense search), reranker и специфический стек (vLLM, FAISS). Это не промпт-техника, это NLP-система. Выше описан адаптированный принцип для ручного применения.
⚠️ Дорого по токенам: Три этапа + множественные рассуждения = высокий расход. Для 50 вариантов можешь потратить 10-20k токенов на всю цепочку. Используй для важных выборов, не для рутины.
⚠️ Не для задач с субъективными критериями: Метод показал себя на задачах где правильный ответ объективен (entity linking, acronym disambiguation). Для креативных задач или субъективных оценок — результат может быть не лучше простого запроса.
⚠️ Меньшие модели чувствительны к порядку: Исследование показало что модели <30B параметров подвержены positional bias — могут предпочитать варианты в начале или конце списка. Если используешь GPT-4o-mini или Claude Haiku — тасуй порядок финалистов между рассуждениями.
Ресурсы
LELA: an LLM-based Entity Linking Approach with Zero-Shot Domain Adaptation — исследование про entity linking без обучения на новых доменах. Показало что coarse-to-fine подход (широкий поиск → ранжирование → выбор с рассуждением) + self-consistency систематически бьёт методы прямого выбора.
Samy Haffoudhi, Fabian M. Suchanek, Nils Holzenberger Télécom Paris, Institut Polytechnique de Paris