Как сравнить два промпта на одинаковых задачах

Более длинный промпт не обязательно работает лучше короткого. Красивый ответ на одном примере тоже не показывает, какой вариант подходит для регулярной задачи. Сравнивайте запросы на одинаковых входных данных и заранее определите, что считается ошибкой.

Предположим, нейросеть превращает заметки в список действий. Важны три свойства: не потерять задачу, не придумать ответственного и сохранить неизвестный срок неизвестным. Именно их и нужно измерять. Общая оценка «звучит профессионально» не обнаружит подмену данных.

Подготовьте набор примеров до выбора победителя

Возьмите несколько обычных случаев и несколько сложных: неполная запись, две задачи в одном предложении, отменённое поручение, противоречащие даты. Для каждого вручную запишите ожидаемый результат или допустимые варианты.

Не подбирайте примеры только под любимый запрос. Иначе проверка покажет, что он хорошо справляется с уже знакомой формой. Часть случаев оставьте для окончательной оценки и не используйте при доработке.

Вот два авторских варианта для сравнения. Они решают одну задачу, но по-разному задают ограничения.

Вариант A
Выдели из заметок задачи, ответственных и сроки. Представь результат кратким списком. Не добавляй информации, которой нет в заметках.

Заметки: Ирина проверит макет. До пятницы нужно отправить приглашения; ответственного ещё выберем. Подготовку печатных бейджей отменили.

Вариант B
Извлеки только действующие задачи. Для каждой укажи действие, явно назначенного ответственного и явно названный срок. Не переноси имя или дату с соседней задачи. Неизвестное обозначай «не указан». Отменённые поручения перечисли отдельно как отменённые.

Заметки: Ирина проверит макет. До пятницы нужно отправить приглашения; ответственного ещё выберем. Подготовку печатных бейджей отменили.

Второй вариант выглядит точнее, но это ещё гипотеза. На длинном тексте он может пропускать часть задач или неверно понимать отмену. Поэтому запускайте оба запроса на всём наборе, а не объявляйте победителя по формулировке.

Сравните две формулировки для сравнения двух промптов в выбранной нейросети, меняя только одно условие. Затем проверьте одинаковость входных данных и правил оценки. Формулировку для изображения можно опробовать в генераторе «Промт Для», выбрав модель под свою задачу.

Сохраните одинаковые условия

Используйте одну модель и один режим. Запускайте случаи в новых диалогах или с одинаковым контекстом, чтобы прошлые исправления не помогали одному варианту. Запишите дату и доступные настройки. При изменении модели старое сравнение может потребовать повторения.

Если задача допускает заметную вариативность, получите несколько ответов на каждый случай. Сохраняйте все результаты, включая неудачные. Не сравнивайте лучший ответ варианта A со случайным ответом варианта B.

Оценивайте наблюдаемые ошибки

Для каждой задачи отметьте: действие найдено или пропущено; имя взято из источника или придумано; срок передан верно или искажён. Отдельно посчитайте активированные отменённые поручения. Такой список объясняет, что именно нужно улучшать.

Можно скрыть названия промптов и оценивать ответы как X и Y. Это уменьшает влияние ожиданий редактора. Если проверку помогает проводить другая нейросеть, спорные случаи всё равно просматривайте вручную: автоматический оценщик тоже способен ошибаться.

Планировать оценку через измеримые критерии рекомендует документация Anthropic. Не обязательно строить сложную систему: для начала достаточно небольшого набора примеров и понятного журнала ошибок.

Зафиксируйте решение и пределы вывода

Запишите, какой вариант выбран, на каких данных и с какими оставшимися проблемами. Формулировка «лучше на нашем наборе заметок» точнее, чем «универсально лучший промпт». Если обе версии нарушают критическое правило, доработайте их и повторите сравнение на новых случаях.

Сохранить победивший запрос поможет библиотека промптов. А если критерии пока расплывчаты, начните с рубрики качества.

Следующий вариант в выбранной нейросети начните с уточнения задачи: сохраните обе формулировки и повторите сравнение на ещё одном примере.

Для работы с изображениями и видео откройте генератор ПромтДля. Доступные модели, параметры и стоимость показаны в форме перед запуском.