Как задать критерии качества ответа нейросети
Как заменить просьбу «сделай хорошо» проверяемой рубрикой, отделить критические ошибки от стилистики и оценивать ответы ИИ последовательно.
Слова «качественно», «профессионально» и «полезно» допускают слишком разные трактовки. Для одного текста качество означает краткость, для другого — полноту, для третьего — точное сохранение исходных формулировок. Перед генерацией решите, по каким признакам вы примете результат.
Критерий должен описывать наблюдаемое свойство. «Текст вызывает доверие» трудно проверить одинаково. «Каждое числовое утверждение связано с указанным источником» гораздо конкретнее. При этом наличие ссылки ещё не доказывает, что она подтверждает число: это отдельная проверка.
Отделите обязательные условия от предпочтений
Выдуманный факт может делать ответ непригодным целиком. Неудачный подзаголовок обычно исправляется небольшой правкой. Не складывайте эти недостатки в один средний балл, где красивая подача компенсирует ложное содержание.
Для памятки новичку обязательными условиями могут быть полнота необходимых действий и отсутствие придуманных правил. Предпочтениями — спокойный тон и короткие предложения. Сначала проверяйте обязательные условия, потом улучшайте подачу.
Подход с конкретными и измеримыми критериями описан в документации Anthropic по оценкам. Для личной работы его можно упростить до нескольких пунктов без сложного числового рейтинга.
Создайте рубрику до получения ответа
Помоги составить рубрику проверки короткой инструкции для нового участника мастерской. Инструкция должна объяснять запись на занятие по предоставленным правилам. Критические ошибки: придуманный срок, неверный контакт, пропущенное обязательное действие. Предпочтения: понятный порядок и спокойный тон.
Предложи не более шести критериев. Для каждого укажи наблюдаемый признак выполнения и пример нарушения. Раздели критические условия и редакционные предпочтения. Не назначай произвольные проценты важности. Если критерий невозможно проверить без исходных правил, назови нужные данные.
Полученную рубрику отредактируйте сами. Удалите пункты, которые повторяют друг друга. Например, «понятность», «ясность» и «простота» без разных определений будут оценивать одно впечатление три раза.
Начните эксперимент в выбранной нейросети с одного промпта для оценки качества ответа; в полученном варианте отдельно проверьте проверяемость требований вместо общих пожеланий. Формулировку для изображения можно опробовать в генераторе «Промт Для», выбрав модель под свою задачу.
Проверьте критерии на двух коротких примерах: очевидно хорошем и очевидно плохом. Если они получают похожую оценку, рубрика слишком размыта. Если два человека регулярно расходятся, добавьте конкретные границы и примеры.
Требуйте доказательства оценки
Модель может поставить высокие баллы собственному ответу. Поэтому полезнее просить не общую похвалу, а указание конкретного фрагмента и причины замечания. Для фактов всё равно потребуется сверка с источником.
Оцени текст по рубрике ниже. Для каждого пункта верни статус: выполнено, нарушено или недостаточно данных. Обоснуй статус ссылкой на конкретную фразу текста. Не используй общий балл и не переписывай материал целиком.
Рубрика:
1. Все действия из исходных правил присутствуют.
2. Новые сроки и контакты не добавлены.
3. Действия расположены в порядке выполнения.
Если исходные правила не приложены, первый пункт оцени как «недостаточно данных», а не по правдоподобию текста.
Такой ответ позволяет понять, почему возникло замечание. Если модель написала «всё корректно», но не показала соответствующий фрагмент, проверка ещё не завершена.
Обновляйте рубрику по реальным ошибкам
После нескольких задач добавьте критерий для регулярно встречающегося существенного дефекта. Не расширяйте список на каждый редкий стилистический нюанс: слишком длинную рубрику трудно применять последовательно.
Сохраняйте версию критериев вместе с результатами. Иначе оценки, полученные в разные месяцы по разным правилам, будут выглядеть сопоставимыми без оснований. При смене задачи создавайте новую рубрику, а не переносите чужую механически.
Используйте критерии при сравнении двух промптов. А фактическую часть проверяйте по отдельной процедуре работы с источниками: аккуратное оформление не заменяет доказательств.
Когда будете дорабатывать промпт в выбранной нейросети, замените одно расплывчатое требование конкретным условием приёмки.
Для работы с изображениями и видео откройте генератор ПромтДля. Доступные модели, параметры и стоимость показаны в форме перед запуском.