MemDev-Bench: память код-агента ускоряет точечные правки, но ломает задачи, которые он решил бы и без неё

Парадокс: память делает код-агента лучше в одном месте и хуже в другом. Бенчмарк MemDev-Bench, который проверял системы памяти на реальных историях репозиториев, показал: память ломает задачи, которые агент решил бы и без неё. Находка позволяет понять, когда память помогает, а когда вредит, и настроить её так, чтобы она не портила простые задачи. Агент берёт заметку из памяти и применяет её, не проверив, подходит ли она к текущей задаче. Прошлый баг выглядит похожим, а корень у него другой. Агент идёт по чужому следу и портит то, что решилось бы само. Чем больше в памяти постороннего, тем чаще такие поломки.