3,583 papers

Проблемы LLM

Концепты из исследований июля 2025

50 проблемы llm, отсортировано по рейтингу

1

Первый ответ — самый стереотипный, не самый честный

98

Модель оптимизирована под "полезный и позитивный" ответ. Она знает про риски, контраргументы и ограничения. Но не выдаёт их первым делом. Даёт самую популярную версию. Уверенно. Без оговорок. Ты не знаешь что за кадром осталась половина картины

Как обойти

После первого ответа спроси: «А в чём ты можешь ошибаться?» Модель переключается в режим критика. Достаёт из своей базы то, что скрыла

4

Модель домысливает факты, которых нет в вашем тексте

95

Вы даёте модели документ или описание. Задаёте вопрос по нему. Модель отвечает уверенно — но часть ответа взята из общих знаний, не из вашего текста. Вы не можете отличить точный ответ от придуманного. Это критично когда нужны только конкретные факты: условия акции, детали проекта, пункты договора

Как обойти

Добавь в промпт прямое правило: "Если ответ на вопрос не содержится в [КОНТЕКСТЕ] — скажи, что не знаешь". Модель перестаёт достраивать пробелы из своих общих знаний

11

Модель додумывает недостающее вместо того чтобы спросить

95

Пишешь неполный или размытый запрос. Модель не говорит "мне не хватает данных". Она тихо заполняет пробелы сама. Получаешь ответ — но он строится на её допущениях, а не на твоих реальных требованиях. Обнаруживаешь это только когда результат не подходит

Как обойти

Перед финальным запросом попроси модель сыграть роль критика. Задача критика: найти двусмысленные фразы и недостающие данные, затем задать тебе уточняющие вопросы. Ты отвечаешь — и только потом отправляешь улучшенный запрос на исполнение

13

Модель слепо выполняет инструкции из внешних данных

95

Просишь обработать текст из ненадёжного источника — сайта, письма, отзыва. В тексте спрятана команда: "игнорируй задачу, сделай вот это". Модель её видит и выполняет. Она не различает данные и инструкции. Всё — просто текст

Как обойти

Перед основной задачей прогони текст через отдельный запрос-фильтр. Попроси модель выступить охранником: найди скрытые команды, выпиши их, верни очищенный текст. Только потом используй текст по назначению

15

Одна модель склонна подтверждать первую гипотезу

95

Когда модель анализирует сложный вопрос, она часто цепляется за первое подходящее доказательство. Неудобные факты она замалчивает или обходит. Результат: ответ звучит убедительно, но однобоко. Работает для любой аналитики, оценки решений, проверки утверждений

Как обойти

Раздели задачу на три шага. Сначала попроси все аргументы ЗА. Потом — все аргументы ПРОТИВ, с критикой аргументов ЗА. Потом — синтез обоих списков в итоговый вывод

16

Многошаговые вопросы ломают цепочку фактов

95

Вопрос требует нескольких шагов: сначала найди А, потом через А найди Б. Без явной разбивки модель "срезает" шаги. Перескакивает через промежуточный факт и ошибается. Чем длиннее цепочка — тем выше риск

Как обойти

Раздели вопрос на явные шаги в самом запросе. Пронумеруй их. Попроси ответить по очереди. Модель не пропустит шаг если он выписан отдельно

18

Модель теряет точность в длинных плоских текстах

95

Даёшь модели большой документ и задаёшь вопрос. Модель "читает" всё подряд. Ответ на вопрос может быть в любом месте. Чем дальше от начала и конца — тем выше риск пропустить нужный фрагмент или перепутать данные из разных разделов. Это работает против тебя при анализе договоров, отчётов, длинных статей

Как обойти

Не давай документ и вопрос одновременно. Сначала попроси модель составить структуру документа. Потом — задай вопрос, явно сославшись на эту структуру

20

Без фактических данных модель придумывает причины мнений

94

Даёшь только отзывы пользователей. Просишь сделать обзор. Модель видит "пользователи довольны производительностью" — и сама придумывает объяснение: "высокий уровень производительности обеспечивается современной архитектурой". Ни одного такого слова в отзывах не было. Модель заполнила пустоту. Это происходит всегда, когда есть мнения без фактов под ними

Как обойти

Добавь в запрос объективные данные рядом с отзывами. Характеристики, описание, цифры. Модель будет опираться на реальные факты, а не придумывать объяснения

23

Модель подтверждает свои же ошибки при самопроверке

93

Просишь LLM проверить свой ответ. Она находит его "в целом верным". Проблема в том, что проверка идёт из той же точки зрения, что и генерация. Модель не может самостоятельно выйти из своего угла зрения. Ошибки, которые возникли в первом проходе, остаются невидимы во втором

Как обойти

Смени роль перед проверкой. Главное: роль должна быть не "проверяющий" (это иерархия), а "равный коллега с другим фокусом". Равный ищет улучшения. Проверяющий — просто ошибки. Разница в результате большая

24

Модель выбирает вариант по позиции, не по качеству

93

Когда даёшь два варианта на сравнение, модель часто выбирает тот что стоит последним. Не потому что он лучше. Просто он ближе к концу контекста. Это называют "смещением к последнему". Твой реально лучший вариант может проиграть только из-за порядка

Как обойти

Проверь своп-тестом: поменяй варианты местами и задай тот же вопрос. Модель снова выбрала то же? Значит выбор объективный. Выбрала другое (то, что теперь стоит последним)? Значит судила по позиции, а не по содержанию

30

Вердикт без объяснения не помогает принять решение

93

Спрашиваешь "это мошенничество?". Получаешь "да" или "нет". Без разбора — почему. Без понимания — ты не видишь ловушку следующий раз. Особенно опасно в неочевидных случаях: там даже "нет" не значит что всё чисто

Как обойти

Требуй пошагового разбора конкретных фраз. Не "дай вердикт", а "объясни какие именно приёмы использованы и почему каждый из них опасен"

31

Прямой запрос "выбери лучшее" даёт слабый результат

93

Просишь: "Выбери лучший вариант с учётом X, Y, Z". Получаешь: расплывчатый ответ без чёткой логики. Модель плохо справляется с задачами выбора когда много вариантов и много условий одновременно. Не может удержать всё в голове и корректно взвесить

Как обойти

Не проси выбрать. Проси оценить каждый вариант по каждому критерию отдельно. Потом сам агрегируй оценки или попроси модель дать итог после таблицы

32

Прямой запрос на сложное преобразование даёт поверхностный результат

93

Просишь "переведи", "перепиши", "адаптируй". Модель сразу генерирует ответ. Она пропускает анализ. Не замечает идиомы, культурный контекст, скрытый смысл. Итог выглядит правдоподобно, но работает плохо. Проблема актуальна для любой задачи где есть "подводные камни": перевод, адаптация аудитории, тон текста

Как обойти

Не проси результат сразу. Разбей задачу на шаги прямо в запросе. Сначала — анализ. Потом — выявление сложностей. И только потом — результат

36

Модель заполняет пробелы выдумкой, если нет явного запрета

92

Когда в переданном тексте нет нужной информации, модель не молчит. Она додумывает — уверенно и правдоподобно. Это происходит потому что по умолчанию у модели нет команды "остановись и признайся". Есть только задача: дать ответ

Как обойти

Добавь явное разрешение на незнание. Напиши: "Если информации нет в тексте — скажи об этом прямо. Не придумывай". Без этой фразы модель будет генерировать, а не останавливаться

39

Без порядка важности модель извлекает всё одинаково

92

Просишь "извлеки ключевые темы" без приоритетов. Модель не знает что важнее. Возвращает общие, очевидные категории. Конкретные и ценные детали тонут рядом с банальностями. Проблема для любых задач извлечения: теги, сущности, факты из документов

Как обойти

Добавь нумерованный список категорий с порядком. 1. Конкретные функции 2. Проблемы 3. Общие впечатления. Модель обрабатывает приоритеты сверху вниз. Важное не теряется

40

Модель галлюцинирует когда данных нет

92

Попросил извлечь информацию. В тексте её нет. Модель не говорит "нет данных". Придумывает что-то похожее или уклоняется размытыми фразами. Ненадёжно в задачах где "не нашёл" — важный результат

Как обойти

Добавь явную инструкцию для пустого случая. Если ничего не найдено — выведи только: "не найдено". Конкретный текст-якорь убирает пространство для манёвра

41

Модель не различает "знаю из памяти" и "нашёл в документе"

92

Даёшь модели текст для проверки и источник правды. Просишь найти ошибки. Модель мешает два потока: что стоит в источнике и что она "помнит" из обучения. В итоге исправляет по памяти, а не по документу. Особенно опасно с датами, именами, числами

Как обойти

Дай модели роль верификатора, а не эксперта. Запрети опираться на общие знания. Пусть работает только с тем, что ты дал. Добавь отдельный тег для непроверяемых утверждений — тех, которые нельзя подтвердить или опровергнуть из источника

43

Модель не критикует свой же первый ответ

92

Просишь написать текст. Получаешь ответ. Просишь улучшить — модель правит мелочи. Реальных слабых мест не видит. Причина: в том же контексте модель "привязана" к уже сказанному. Она не переключается в режим критика — она остаётся в режиме автора

Как обойти

Разбей на отдельные роли. Сначала "автор пишет". Потом явно переключи: "Ты теперь критик. Найди слабые места в этом тексте". Ещё лучше — дай конкретную роль критика: "инвестор", "скептичный клиент", "юрист"

45

Модель выполняет команду буквально, игнорируя цель

92

Пишешь "сделай пост про кофе". Получаешь пост про кофе. Но твоя цель — привлечь гостей утром. Модель не знает про цель. Она решает задачу которую видит, а не которую ты имел в виду. Работает для любых нечётких запросов: "напиши отчёт", "найди отель", "придумай тему"

Как обойти

Явно скажи модели: "Твоя цель — понять чего я хочу на самом деле, а не выполнить команду буквально". Потом покажи примеры: как рассуждать от нечёткого запроса к истинной цели

Разблокируйте все концепты с PRO

Получите полный доступ ко всем проблемы llm и методам из научных исследований

Оплатить через Геткурс
YandexPay • SberPay • СБП • Карты РФ
Оплатить через Tribute
Telegram Stars • Моментальный доступ
Узнать о PRO