TRUEBench: как LLM проваливают реальные задачи из-за неявных ограничений

Парадокс: OpenAI o1 решает академические тесты на 89%, но проваливает 30% реальных задач, где нужно соблюсти ВСЕ требования пользователя. TRUEBench позволяет проверить насколько LLM готовы к production — работают ли они как productivity assistant, а не просто lab demo. Оценка строгая: PASS только если модель выполнила все критерии, один упущенный = провал всей задачи. Как в жизни — забыл про формат вывода или тон, результат летит в мусорку.