SDGO: оптимизация с самодискриминационным управлением для согласованной безопасности в больших языковых моделях

Обнаружено: LLM страдает от «раздвоения личности» — модель отлично распознаёт вредоносные запросы (когда выступает «судьёй»), но при этом всё равно может их выполнить (когда выступает «исполнителем»). Это объясняет, почему ChatGPT иногда генерирует неэтичный контент, хотя «знает», что это плохо. Метод SDGO позволяет разработчикам устранить этот разрыв через дообучение: модель учится прислушиваться к своей внутренней оценке риска. Ключевая фишка: модель тренируется на собственных противоречиях — если её внутренний критик счёл запрос опасным, а генератор всё равно выдал вредный ответ, модель получает штраф. Результат: +23% точности в отказе от вредоносных запросов при сохранении качества на безопасных задачах.