TrueGL: правдивый, надежный и унифицированный движок для обоснованного обучения в полностековом поиске

Исследователи создали специализированную языковую модель TrueGL, "натренированную" на определение степени достоверности текста. Модель присваивает любому утверждению числовую оценку надежности (от 0.1 до 1.0) и предоставляет текстовое обоснование своего вердикта.

Ключевой результат: Специально обученная модель TrueGL значительно точнее оценивает правдивость информации, чем универсальные LLM аналогичного размера или простые алгоритмы, основанные на правилах.

Суть метода, полезная для обычного пользователя, заключается не в создании новой модели, а в подходе к постановке задачи для LLM. Вместо того чтобы спрашивать "Эта новость правдива?", что является слишком общим вопросом, исследователи использовали детализированный промпт, который превращает LLM в системного аналитика.

Методика состоит из трех шагов: 1. Назначение роли и задачи: Вы даете модели четкую роль ("Ты — эксперт-аналитик") и задачу с определенной шкалой оценки ("Оцени надежность по шкале от 0.1 до 1.0"). 2. Предоставление критериев: Вы перечисляете конкретные параметры, по которым модель должна проводить анализ. В исследовании это: фактическая точность, проверяемость, наличие разных точек зрения, логическая согласованность и прозрачность доказательств. Это заставляет модель не просто "чувствовать" ответ, а последовательно проверять текст по чек-листу. 3. Определение формата вывода: Вы требуете ответ в строго определенном формате (например, "только числовая оценка" или "оценка + обоснование в виде списка"). Это убирает "воду" из ответа и делает его максимально полезным.

По сути, вы не просите LLM дать ответ, а даете ей инструкцию по выполнению аналитической работы, и этот подход можно применить к любой LLM, будь то ChatGPT или Claude.

• Прямая применимость: Пользователь может скопировать структуру промпта из исследования, вставить свой текст и получить от любой мощной LLM (например, GPT-4) структурированный анализ надежности информации. Это крайне полезно для проверки новостей, постов в соцсетях или рекламных статей.

• Концептуальная ценность: Исследование наглядно демонстрирует, что для получения качественного ответа на сложный вопрос, его нужно декомпозировать. Пользователь учится мыслить как "менеджер" для LLM: ставить четкую задачу, определять критерии успеха (оценки) и требовать отчет в нужном формате. Эта концепция "промпт как техническое задание" универсальна и применима к тысячам других задач.

• Потенциал для адаптации: Шаблон промпта легко адаптируется. Вместо "оценки надежности" можно попросить оценить "убедительность маркетингового текста", "ясность технической инструкции" или "эмоциональную окраску отзыва клиента". Для этого достаточно изменить роль и критерии оценки, сохранив общую структуру промпта.

### Роль
Ты — беспристрастный эксперт по факт-чекингу и медиаграмотности. Твоя задача — анализировать тексты на предмет достоверности и скрытых манипуляций.

### Задача
Проанализируй текст, представленный ниже, и оцени его общую надежность по шкале от 0 до 100, где 0 — это абсолютный вымысел, а 100 — полностью достоверная, подтвержденная фактами информация.

### Критерии Оценки
При анализе обязательно учти следующие факторы:
1.  **Фактическая точность:** Содержатся ли в тексте проверяемые факты? Есть ли в них ошибки?
2.  **Проверяемость источников:** Ссылается ли автор на конкретные исследования, документы или экспертов? Можно ли проверить эти источники?
3.  **Логическая согласованность:** Нет ли в тексте внутренних противоречий или логических ошибок?
4.  **Эмоциональная окраска и предвзятость:** Не использует ли автор эмоционально заряженные слова, чтобы манипулировать мнением читателя? Представлены ли разные точки зрения?
5.  **Прозрачность доказательств:** Являются ли приведенные доказательства (статистика, цитаты) прямыми и релевантными или они вырваны из контекста?

### Формат Ответа
Предоставь свой ответ в следующем строгом формате:
**Оценка надежности:** <число от 0 до 100>
**Краткое обоснование:**
*   [Пункт 1: краткий вывод по фактической точности]
*   [Пункт 2: краткий вывод по проверяемости источников]
*   [Пункт 3: краткий вывод по логической согласованности]
*   [Пункт 4: краткий вывод по предвзятости]
*   [Пункт 5: краткий вывод по прозрачности доказательств]

### Текст для анализа
"Сенсационное открытие ученых! Обычная пищевая сода оказалась панацеей от всех болезней. Как выяснили независимые исследователи, ежедневный прием раствора соды натощак полностью очищает организм от токсинов, восстанавливает кислотно-щелочной баланс и даже обращает вспять развитие раковых клеток. Фармацевтические гиганты скрывают эту информацию, чтобы продолжать продавать свои дорогие и бесполезные лекарства. Миллионы людей уже излечились благодаря этому простому народному средству, о котором молчит официальная медицина!"

Этот промпт эффективен, потому что он не оставляет LLM пространства для домыслов и общих фраз.

• ### Роль активирует у модели нужный набор знаний и стиль поведения — она начинает "мыслить" как скептик и аналитик, а не как услужливый помощник.
• ### Критерии Оценки — это самая важная часть. Она заставляет модель выполнить последовательный анализ по пяти разным направлениям. Это аналог техники "Chain-of-Thought", но в виде структурированного чек-листа. Модель вынуждена искать в тексте конкретные признаки (факты, ссылки, эмоции), а не просто давать общую оценку.
• ### Формат Ответа принуждает модель структурировать вывод, делая его легко читаемым и проверяемым. Пользователь сразу видит сильные и слабые стороны анализируемого текста по каждому из критериев.

### Роль
Ты — опытный HR-специалист и рекрутер. Твоя задача — оценивать сопроводительные письма кандидатов на предмет их соответствия вакансии и убедительности.

### Задача
Проанализируй сопроводительное письмо кандидата на вакансию "Маркетолог" и оцени его общее качество по шкале от 0 до 100, где 0 — совершенно неподходящее письмо, а 100 — идеальное письмо для этой вакансии.

### Критерии Оценки
При анализе обязательно учти следующие факторы:
1.  **Релевантность опыта:** Насколько опыт, описанный в письме, соответствует требованиям вакансии (анализ рынка, ведение кампаний, работа с подрядчиками)?
2.  **Понимание задач компании:** Показывает ли кандидат, что он изучил компанию и понимает ее цели и продукты? Есть ли персонализация под конкретного работодателя?
3.  **Структура и ясность изложения:** Легко ли читается письмо? Хорошо ли оно структурировано? Нет ли грамматических ошибок?
4.  **Мотивация и проактивность:** Выражает ли кандидат искреннюю заинтересованность в работе? Предлагает ли какие-то идеи или демонстрирует проактивный подход?
5.  **Соответствие "Tone of Voice":** Соответствует ли стиль письма корпоративной культуре компании (например, формальный для банка или креативный для стартапа)?

### Формат Ответа
Предоставь свой ответ в следующем строгом формате:
**Общая оценка письма:** <число от 0 до 100>
**Краткий анализ по пунктам:**
*   **Релевантность:** [краткий вывод]
*   **Понимание компании:** [краткий вывод]
*   **Структура:** [краткий вывод]
*   **Мотивация:** [краткий вывод]
*   **Стиль:** [краткий вывод]

### Текст для анализа
"Здравствуйте. Увидел вашу вакансию маркетолога на сайте. У меня большой опыт в маркетинге, более 5 лет. Я работал в разных компаниях и занимался продвижением продуктов. Уверен, что смогу быть полезен вашей компании. Готов обсудить детали на собеседовании. Мое резюме в приложении. Спасибо."

Этот пример работает по тому же принципу, что и предыдущий, демонстрируя универсальность подхода.

• Адаптация под задачу: Вместо абстрактной "надежности" мы оцениваем конкретное "качество сопроводительного письма". Роль "HR-специалиста" заставляет модель смотреть на текст с профессиональной точки зрения.
• Специализированные критерии: Критерии оценки заменены на релевантные для HR-задачи: релевантность опыта, мотивация, понимание компании и т.д. Это направляет "внимание" LLM на самые важные аспекты текста для данной конкретной цели.
• Структурированный результат для принятия решений: Ответ, который выдаст модель, будет не просто мнением, а практически готовым аналитическим отчетом для рекрутера. Он позволяет быстро понять, почему письмо кандидата слабое (например, "Релевантность: высокая, но Понимание компании: низкое, письмо не персонализировано"). Это помогает пользователю принять взвешенное решение.