Контент доступен только для PRO подписчиков
Чтобы получить доступ к полному содержанию этого исследования, оформите PRO подписку
LGMT: проверка логической надёжности LLM через эквивалентные переформулировки
КЛЮЧЕВАЯ СУТЬ
Адаптировать под запрос
Одиночные ответы на логические задачи верны в 65–73% случаев. Требуем ещё и согласованность на переписанном вопросе — остаётся 52–61%. Метод LGMT позволяет ловить такие противоречия без эталонных ответов: правильный вердикт знать не нужно. Фишка: переписываем задачу по законам логики, смысл не меняется, а значит любое расхождение ответов — ошибка модели. Это называется метаморфическое тестирование: примерно каждая пятая–третья группа задач выдаёт противоречие.
Дайджест исследования
Контент доступен только для PRO подписчиков
Чтобы получить доступ к дайджесту этого исследования, оформите PRO подписку
Контент доступен только для PRO подписчиков
Чтобы получить доступ к концептам этого исследования, оформите PRO подписку
Простыми словами
Контент доступен только для PRO подписчиков
Чтобы получить доступ к упрощённому объяснению этого исследования, оформите PRO подписку