Adversarial Heuristic Learning (AHL): агент улучшает свой код по итогам прогонов против соперников, веса модели не меняются

Агент без единого изменения весов модели обошёл сотни программ, написанных людьми. Метод AHL (состязательное эвристическое обучение) позволяет поручить агенту довести до ума код, у которого есть измеримый счёт. Он сам гоняет проверки, сам читает результаты и сам чинит. Фишка: учится не модель, а код и заметки в рабочей папке. Агент читает реплеи (записи партий) и журналы запуска, находит общий узор в проигрышах и делает точечную правку. Если стало хуже, он откатывается к лучшей версии. Итог на 12 играх против 1 920 программ людей: первое место в 6 играх из 12.