Три конфигурации агентов с Claude 4 Sonnet: результаты SWE-bench

Здесь сопоставлены три опубликованные конфигурации с Claude 4 Sonnet: Moatless Tools, OpenHands и SWE-agent. Это разбор результатов на SWE-bench Verified, а не текущий рейтинг всех ИИ-агентов.

В снимке от 22 сентября 2026 года есть восемь записей с точным названием модели Claude 4 Sonnet. У четырёх стоит отметка о проверке командой SWE-bench; в легенде сайта такая отметка обозначает запуск или непосредственную проверку этой командой. Для этой таблицы взяты три из них, кроме mini-SWE-agent: сравниваем отдельные агентные системы, а не базовую среду для сравнения моделей.

Остальные четыре записи с этой моделью не имеют такой отметки и показывают проценты выше 70,8. Отсутствие отметки не делает результат неверным. Поэтому верхняя строка ниже — лидер только нашей явно ограниченной выборки, а не лучший результат Claude 4 Sonnet во всей таблице.

Результаты выбранных конфигураций

Что можно сравнивать

Verified — 500 отобранных людьми задач из SWE-bench: реальных GitHub issues Python-проектов. Это проверка исправлений в существующем коде; она не измеряет все сценарии разработки. Все три записи называют Claude 4 Sonnet, но относятся к разным агентным системам и датам. Совпадение линейки не доказывает одинакового снимка модели и настроек, поэтому разницу нельзя приписать одному агенту.

Записи датированы маем–июнем 2025 года. Порядок строк соответствует доле решённых задач: 70,8% — 354 из 500, 70,4% — 352, 66,6% — 333. Разрыв первых двух строк составляет всего две задачи; без одинаковых условий и повторных запусков этого недостаточно для устойчивого вывода о превосходстве.

На сайте SWE-bench по умолчанию показан Bash Only — вид Verified с общей средой mini-SWE-agent. Эти три строки взяты из данных Verified с отдельными агентными системами, а не из Bash Only. Для проверки откройте Verified и представление с агентами; точные идентификаторы приведены ниже. Актуальные результаты смотрите в самой таблице источника.

Как перейти к своему проекту

1. Выберите несколько задач своего проекта с проверяемым результатом: например, исправить воспроизводимую ошибку, сохранив прохождение существующих тестов. Сопоставьте язык и тип работы с GitHub issues Python-проектов в Verified.
2. Для каждого агента зафиксируйте версию и точный снимок модели: дата 20250514 в идентификаторе — часть условий, а не просто название линейки. Если историческая версия недоступна, считайте свой запуск новым сравнением.
3. Начинайте каждую попытку с одного коммита, одинакового набора задач, зависимостей и тестов. Задайте одинаковые лимиты времени, стоимости и числа попыток; сохраняйте точные версии в отчёте.
4. Заранее определите «решено»: ошибка больше не воспроизводится, тесты проходят, изменения не обходят проверку. Отдельно запишите время, расходы и вмешательство человека — подсказки, ручные исправления и повторные запуски.
5. Повторите сравнение на нескольких задачах и сохраните неудачи вместе с удачами. Вывод относится к вашему набору задач и этим условиям запуска.

Если инструмент не представлен в этой выборке, это не означает плохого результата или нулевой оценки. Отсутствие строки не заменяет испытание.

Условия важнее общего места

Для агента важны инструменты, ограничения среды, число попыток и проверка результата. В редакционной методике сравнения агентов описаны критерии для собственной проверки. Это не правила расчёта % Resolved в SWE-bench. Цены и время из других источников к этим баллам не добавляются.

Источник и идентификаторы

Проценты, названия и даты взяты из опубликованных данных SWE-bench. Дата получения снимка указана в подписи таблицы и не подменяет даты записей. Собственные прогоны для этих строк не выполнялись.

Источники и документация

• SWE-bench — данные таблицы Verified