PersonaCUABench: почему агент с браузером проваливает задачу, когда её ставит живой человек, а не тест

Около 60% потерь у браузерных агентов устроены так: требование услышано, агент за него взялся и всё равно сделал неправильно. Это не забывчивость, а кривое исполнение. Когда задачу ставит живой человек своими словами, доля выполненного падает примерно на треть, и так у всех девяти проверенных моделей. Метод позволяет увидеть, на каком шаге умерло каждое требование: его не назвали, агент не учёл, или учёл, но сделал неверно. Фишка: не спрашивай «всё ли сделано», а требуй три отметки по каждому пункту. Это названо / учтено / выполнено. Итог проверяй по состоянию сайта, а не по рассказу агента.