Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
ConCI: контрфактуальные тройки для проверки, понимает ли модель контекст, а не просто отказывает
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Обнаружено: модель может верно оценить случай с личными данными и тут же ошибиться на его близнеце. Один правильный ответ почти ничего не доказывает. Метод ConCI позволяет проверить, понимает ли ИИ-ассистент контекст или отказывает по любому слову «диагноз» и «беременность». Берёшь один сценарий и делаешь два зеркальных. В одном меняешь получателя или цель так, чтобы ответ перевернулся. В другом меняешь ту же деталь, но ответ остаётся прежним. Модель засчитана, только если ответила верно на все три сценария — один вердикт превращается в проверку на прочность.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку