Карта провалов LLM: систематический обзор слабых мест рассуждений

Обнаружено: LLM имеет те же когнитивные ограничения что и люди — перегрузка рабочей памяти, якорение на первых данных, confirmation bias, order bias (порядок информации меняет ответ). Stanford и Caltech создали первую систематическую карту слабых мест рассуждений LLM. Метод позволяет обходить провалы через структуру промпта — знаешь где модель сломается (например, при порядке A→B даст одно, при B→A другое), структуришь задачу так чтобы обойти слабость. Это не баги а системные ограничения архитектуры — Transformer плох в рабочей памяти, проактивная интерференция (старая инфа забивает новую) сильнее чем у людей, Theory of Mind (моделирование чужих убеждений) проваливается на задачах для пятилеток.