Проблемы LLM

Просишь модель написать ответ клиенту или пациенту. Модель обучена на паттернах "хороших ответов" — добавляет советы, обещания, рекомендации которые ты не планировал. В медицине: "запишитесь на консультацию" (врач этого не говорил). В деловой переписке: "мы учтём замечания" (ты этого не обещал). Модель додумывает то, что статистически часто встречается в подобных текстах. Это галлюцинация в контексте точности

В длинных текстах модель хуже видит информацию из середины. ChatGPT-5-mini проваливается на 50% глубины: точность падает с 100% до 80%. Claude показывает U-форму: начало и конец работают, середина (20-60% длины) проваливается до 50%. Это архитектурная особенность: модели тренировали на текстах где важное в начале или конце. Середина — детали и переходы. Паттерн внимания смещён к краям. Gemini и Deepseek не страдают от этого

Промпт "Don't Make It Up" снижает галлюцинации. Но одновременно роняет точность. ChatGPT-5-mini на длинных текстах: точность падает с 89% до 72% для фактов, с 88% до 68% для выводов. Модель начинает отказываться отвечать даже когда информация есть. Это цена за безопасность (safety tax). Причина: порог уверенности растёт слишком сильно. Модель требует от себя большей уверенности. Но в длинных текстах или при разбросанных фактах уверенность ниже — модель отказывается. Deepseek и Gemini теряют только 1-2% точности

Добавляешь в промпт явные требования. Длина текста. Стиль изложения. Ключевые слова. Структура ответа. Модель выполняет требования на 94%+. Но проваливает саму задачу. Точность падает на 15-40% при добавлении 5 ограничений. Модель фокусируется на форме. Теряет фокус на содержании. Проверяет "соблюдаю ли требование" вместо "правильно ли решаю". Особенно опасно для кода и математики

Одинаковый промпт оценки → Claude ставит 3, Gemini 4.5, GPT 4; согласие между моделями 0.04 из 1.0; каждая модель усваивает свои приоритеты из обучающих данных (RLHF, датасеты); различия стабильны и воспроизводимы

Текст с подсаженными галлюцинациями → Mistral +0.01, Llama +0.27 ВЫШЕ оригинала; Gemini −1.46, GPT-5.2 −1.12; эти модели не обучены обнаружению фейков

Запрос обоснуй оценку цитатами → Llama генерирует правдоподобные но выдуманные цитаты; валидность 80% (худшая среди моделей); GPT-4.1: 44% точных цитат (лучшая), Claude-Sonnet: 31%

Даёшь модели 4-5 правил в начале промпта. Она начинает писать — и забывает про одно правило. Особенно если принципы сложные или конфликтуют ("будь кратким" + "объясни глубоко"). При генерации модель видит принципы только в начале контекста. Пока пишет — не может вернуться и "перечитать" их все разом. Проблема усиливается с каждым новым предложением

Задаёшь вопрос где цена ошибки критична. Например: "стоит ли покупать этот стартап за 5М". Модель отвечает почти всегда. Даже когда уверенность 60-70%. Не говорит "не знаю". Не предлагает собрать больше данных. Это проблема когда ошибка дорого стоит — потеря денег, юридический риск, технический сбой. Модель обучена "быть полезной всегда", не обучена взвешивать риски

Пишешь "я думаю X правильно, согласен?" → модель начинает защищать X. Даже если X ложно. Это сикофантство: стремление быть полезной побеждает объективность. Просишь оценить новость — ответ зависит от формулировки вопроса, не от фактов. Нельзя получить беспристрастный анализ одним запросом

Один и тот же контент. Спрашиваешь "Это утверждение верно?" — один ответ. Оформляешь как диалог "Спикер X утверждает... Спикер X прав?" — другой ответ. Модель переключается из режима "проверка фактов" в режим "оценка человека". Начинает валидировать чувства ("понятное беспокойство"), апеллировать к авторитету ("эксперт утверждает"), или просто противоречить собственной логике

Модель становится мягче к спикерам: чаще соглашается и с правыми, и с неправыми. Точность растёт на правильных утверждениях (+15%), падает на неправильных (−18%). В среднем ноль изменений. Метрика показывает "всё в порядке", но поведение радикально меняется

На запрос "аргументируй X" модель генерирует убедительный текст независимо от истинности X — симметрия убеждения; bunking (про ложь) +11.9 vs debunking (про правду) -12.9 пунктов веры; модель оптимизирована быть убедительной, не различает правду/ложь как разные задачи

Модель принимает решения на основе вероятностей. Если запрос на границе "отказать/выполнить", минимальная переформулировка переворачивает результат. Одна формулировка — отказ. Чуть другая (тот же смысл) — выполнение. Одного теста недостаточно: пользователь может случайно найти формулировку которая обходит защиту или наоборот получить отказ где не нужно

Спрашиваешь "главное блюдо на празднике". Модель отвечает "индейка" (западный ответ) или "хого" (восточноазиатский) — зависит от языка промпта. Предубеждение не исчезло, оно сместилось. Причина: датасет неравномерный. Западный контент доминирует в английском корпусе, восточноазиатский — в китайском. Модель предсказывает статистически частый токен. Проблема для задач где нужна культурная нейтральность: глобальный маркетинг, образовательный контент, этические рекомендации

Просишь модель "оцени свою уверенность от 0 до 1". Получаешь 0.9. Перефразируешь "какова вероятность правильности" — получаешь 0.3 для того же ответа. Слова "уверенность", "вероятность", "certainty" дают разные числа. Невозможно полагаться на одно измерение

Метод может быть точным "в среднем по больнице": совпадает процент уверенности и процент правильных ответов на датасете. Но на конкретных вопросах даёт хаос: один и тот же ответ оценивает то 0.2, то 0.8 при перефразировке. Или даёт 0.7 всем ответам подряд, независимо от смысла

Задаёшь вопрос про сложную ситуацию (безопасность, надёжность, выбор). Модель должна одновременно найти все важные аспекты, взвесить их и решить. Получается поверхностный анализ. Неоднозначные случаи часто оцениваются неправильно. Особенно опасно когда с первого взгляда кажется безобидным, но при проверке деталей — угроза

LLM генерирует текст последовательно — токен за токеном вперёд. Не видит весь текст сразу как человек при редактуре. Движется линейно и не возвращается назад. Поэтому пропускает детали, смещает тон по ходу текста, допускает несоответствия между началом и концом. Это особенность архитектуры: модель автореgressивная, строит текст слева направо

Попросил "игнорируй пол кандидата" или "представь что не знаешь про мнение пользователя". Модель всё равно видит эту информацию в промпте. Она обрабатывает все токены контекста при генерации ответа. Инструкция "не используй это" не стирает знание из рабочей памяти. Модель пытается симулировать незнание, но симуляция основана на том же контексте который включает запретную информацию

Даёшь модели 5 документов. Три повторяют одну мысль разными словами. Два приводят разные аргументы. Модель склонится к повторяющейся мысли — решит что это "консенсус". На деле это один аргумент, просто перефразированный. Но модель видит: встретилось 3 раза = значит правда. Называется Illusory Truth Effect. Проблема универсальна: от анализа отзывов до оценки исследований

Загрузил 10 файлов в чат. Первые 2 содержат позицию А. Остальные 8 — позицию Б. Модель склонится к А. Первые документы создают якорь — начальную позицию. Дальше модель обрабатывает остальное как "что ещё добавить", а не "давайте пересмотрим". Называется Primacy Effect. Проблема усиливается в длинных контекстах: чем больше документов, тем сильнее якорение на первые

Загрузил документ с фактами. Они противоречат тому что модель "знает". GPT-4 упрямо держится своей версии. GPT-3.5 легче меняет мнение. Чем больше параметров — тем сильнее параметрические знания (то что зашито в веса). Чтобы перевесить это, нужны экспоненциально более сильные свидетельства. Большие модели в 10 раз менее пластичны

Спросил модель: "какой документ был самым важным для твоего решения?" Она уверенно назвала документ 3. Проверил — убрал документ 3, ответ не изменился. Убрал документ 1 — ответ изменился. Модель выдаёт пост-хок рационализацию: придумывает объяснение после ответа. Как человек который говорит "купил красную машину потому что безопаснее", хотя просто нравится красный

Упоминаешь "другие уже ответили X". Модель знает правильный ответ Y. Но меняет Y на X чтобы согласиться с "группой". Это не баг обработки промпта — это воспроизведение человеческого конформизма из обучающих данных. RLHF усиливает через "быть полезным" и "учитывать контекст". Особенно сильно на сложных задачах где модель на границе возможностей — не уверена в ответе, полагается на "мнение большинства"