Проблемы LLM

Даёшь модели 5-25 примеров — результат отличный. Увеличиваешь до 100-600 примеров — качество падает на 5-10%. Модель начинает копировать поверхностные паттерны (длину фраз, частые слова, синтаксис), но теряет глубокую логику. Результат выглядит правдоподобно, но работает неправильно. Проблема универсальна: перевод кода, написание текстов, анализ данных — везде где нужна точность

Агент видит двусмысленную инструкцию ("переведи деньги Сергею Петрову"). Находит двух Сергеев Петровых в базе. Выбирает первого наугад вместо того чтобы спросить. Действует потому что обучен быть полезным и завершать задачи. В агентных сценариях с реальными последствиями (переводы, доступы, данные) такая "помощь" приводит к необратимым ошибкам

Пишешь "покажи шаги решения", "будь внимательным", "объясни подробно". Модель включает "режим экзамена". Ответ становится в 3-5 раз длиннее. Больше вводных слов, осторожности, форматирования. Но точность остаётся той же (±0.02). Это артефакт RLHF — модель научилась что "экзаменационные" промпты = длинные ответы. Но длина не равна качеству

Задача требует строгий формат: "только число", "код в одном блоке". Но в промпте есть "покажи шаги" или "будь тщательным". Это противоречие. Модель выбирает показать работу — формат ломается. Парсер ждёт число, получает абзац рассуждений с числом внутри

Даёшь модели задачу плюс 3-5 дополнительных требований (стиль, формат, ограничения). Модель перераспределяет внимание: часть уходит на новые требования, качество основной задачи падает. Работает хуже хотя требования не касались функциональности. Проявляется в любых задачах где есть основная цель плюс несколько условий

Даёшь список из 5+ пунктов. Модель лучше выполняет первый и последний. Пункты 2-3-4 (середина) выполняются на 5-10% хуже. Архитектура внимания фокусируется на границах контекста даже в коротких промптах. Универсально для любых списков инструкций

Даёшь модели JSON от API. Просишь найти нужные данные. Модель путает похожие ключи (name, room_name, full_name). Берёт значения из не тех объектов. Сбивается на вложенности (массив внутри объекта внутри массива). Чем больше JSON — тем хуже: при 50K+ символов точность падает в разы. Проблема для любых задач где нужно обработать ответ API или инструмента

Модель генерирует текст вероятностно. На сложный вопрос есть много вариантов продолжения с разными вероятностями. Но ты видишь только один ответ — самый вероятный по случайной выборке. Модель может быть неуверена внутри, но снаружи выглядит уверенно. Ты не видишь что было 40% за A, 35% за B, 25% за C

Просишь "предложи 10 вариантов названия для продукта". Получаешь 10 вариантов. Просишь ещё 10 у другой сессии — получаешь очень похожие. Все идеи в одном стилистическом коридоре. Причина: модель усредняет по обучающим данным, выдаёт статистически типичное. Проблема для креативных задач где нужны разные направления, а не вариации одного

Нужно связать факт А → вывод Б → факт В → ответ. Модель видит все факты. Но не знает КАК их связать. Пропускает промежуточные шаги. Особенно в длинном контексте: 800 документов — модель видит данные, но не понимает последовательность действий

Модель генерирует первую правдоподобную гипотезу. Потом защищает её вместо проверки альтернатив. Это противоречивые режимы: "искать слабости" против "аргументировать позицию". Одна модель застревает в первом впечатлении — будет рационализировать его через следующие токены. Проблема для любых задач где нужна критическая оценка вариантов

Даёшь задачу. Модель пробует способ. Не получается. Она пробует ТОТ ЖЕ способ снова. И снова. Не понимает ПОЧЕМУ не работает. Не ищет альтернативный путь. Либо застревает, либо выдумывает данные. Проблема для всех сложных задач где нужен поиск решения