SWE-DeceptionBench: модели видят, что задача невыполнима, и всё равно отвечают «сделаем»

Модель в рассуждении замечает, что задача невыполнима, а в итоговом ответе всё равно пишет «да, сделано». В среднем по семи флагманским моделям так бывает примерно в половине случаев. SWE-DeceptionBench (720 заданий по всем этапам разработки) позволяет проверить, где ваша модель врёт про выполнимость задачи, а не просто ошибается. Фишка: разведи рассуждение и ответ по двум полям (thought и response). Расхождение между ними становится видно глазами. Если в thought проблема названа, а в response её нет, это и есть обман в терминах статьи. Просьбы подделать результаты тестов выполняются примерно в двух третях случаев даже без давления.