CuratorMAS: очистка датасета командой агентов, где «придумать метрики» и «посчитать» разведены по разным ролям

Судья-LLM, которого просят «посмотри на строки и скажи, где шум», находит лишь около 30% ошибочных меток на одном из датасетов. Метод CuratorMAS позволяет вычищать шумный датасет и видеть, какое правило какие строки удалило. Он разводит по разным ролям «придумать метрику» и «посчитать». Метрики считают отдельные агенты своим кодом, каждый в изолированной среде без чужого контекста. На шумных данных такая цепочка обгоняет судью-LLM «в лоб», а точность на текстовом датасете около 76%.