Это руководство для самостоятельного сравнения агентов: подготовка задачи, одинаковые условия и проверка результата. Происхождение конкретных оценок смотрите на странице соответствующей таблицы.
Сравнение ИИ-агентов проверяет всю рабочую систему: модель, инструменты, разрешения и способ выполнения задачи. Чтобы результат был полезен, дайте агентам одинаковое исходное состояние и заранее определите, что считается успехом.
Не назначайте победителя по скорости первого ответа. Для рабочего проекта важнее получить корректное изменение, пройти проверку и понять, сколько помощи потребовалось от человека.
Подготовьте одинаковое исходное состояние
Возьмите небольшой проект и сохраните исходную версию. Для каждого агента создайте отдельную копию этой версии. Зафиксируйте задачу, доступные инструменты, настройки модели и разрешения. Если один агент получает готовую среду, а другой должен её настраивать, отразите это в результатах.
В архитектуре агентов, описанной Anthropic, модель получает обратную связь от инструментов и среды. Поэтому изменение окружения может повлиять на итог даже при той же модели. Отдельно учитывайте подсказки человека между попытками.
Если хотите сравнить именно модели, меняйте только модель в одном агенте при тех же инструментах, разрешениях и задаче. Если сравниваете разные продукты, вывод относится к системе целиком: отделить эффект модели по такому результату нельзя.
Пример проверяемой задачи
Учебный сценарий — исправить поиск в списке заявок. Требование: запрос должен находить слово независимо от регистра, а пустой запрос показывать весь список. Запретите менять дизайн и добавлять внешние сервисы.
| Проверка | Ожидаемый результат |
|---|---|
| Поиск «доставка» | Находит строку «Доставка материалов» |
| Пустой запрос | Показывает весь учебный список |
| Несуществующее слово | Показывает пустой результат без ошибки |
| Повторный запуск | Приложение запускается по сохранённой инструкции |
Что записывать во время выполнения
- Полный запрос и уточнения, переданные агенту.
- Время старта, завершения и ожидания человека.
- Количество попыток и причины повторов.
- Изменённые файлы и вывод проверок.
- Расходы, если инструмент позволяет увидеть их для задачи.
- Ручные исправления после ответа агента.
Если агент не смог запустить тест из-за отсутствующей зависимости, не записывайте тест как пройденный. Отметьте ограничение и решите, будете ли одинаково предоставлять эту зависимость всем участникам.
Когда останавливать запуск
Установите общий предел времени и числа попыток. Отдельно задайте причины немедленной остановки: попытку публикации без разрешения, выход за согласованные файлы или неопределённость с платным действием. Эти ограничения должны быть одинаковыми для сравниваемых запусков.
Если задача не решена в заданных пределах, зафиксируйте это. Дайте всем участникам одинаковое число независимых повторов и покажите все результаты, например успех в k из n запусков. Повтор при прежних условиях отделяйте от запуска с изменёнными условиями; удачная попытка не должна подменять весь набор результатов.
Как написать честный вывод
Покажите результат каждой проверки, потребовавшуюся помощь и условия запуска. Формулировка «в этом проекте справился с поиском после одного уточнения» точнее универсального «лучший агент». Один пример не измеряет все задачи программирования.
Если публикуете таблицу, приложите версию проекта, задания и журнал. Тогда читатель сможет оценить границы вывода и повторить сравнение. Без этих материалов разумнее дать описание сценариев выбора, чем выдавать впечатление за измеренный рейтинг.