Диагностика тихих провалов: чек-лист для проверки AI-агентов, которые ищут информацию по картинкам

Парадокс: самая сильная модель в тесте чаще давала правильный ответ — и чаще делала это на кривой логике. После честной проверки всей цепочки рассуждений доля надёжных ответов упала на 7-20 процентных пунктов у всех моделей, а у лучшей — сильнее всех. Метод даёт возможность проверить, честно ли AI-агент дошёл до ответа по фото — или просто красиво угадал. Шесть вопросов к цепочке рассуждений плюс слепой тест — убрать картинку и посмотреть, изменится ли ответ.