TReB-A - Всеобъемлющий эталон для оценки способностей к табличному рассуждению больших языковых моделей.

LLM катастрофически плохо справляются с точными математическими и логическими операциями, когда пытаются решить задачу текстом, но показывают превосходные результаты, когда им дают задание написать и выполнить код для решения той же задачи.