Результаты моделей на SWE-bench Verified: mini-SWE-agent 2.0.0

Ниже — результаты 13 конфигураций моделей из опубликованных данных SWE-bench Verified, отобранных по одинаковой оболочке mini-SWE-agent версии 2.0.0. Метрика показывает долю решённых задач из набора Verified; она не является общей оценкой интеллекта модели.

Это датированная выборка для сравнения результатов в одной версии оболочки. В таблицу включены все записи этой группы из полученного снимка; порядок — по убыванию опубликованного процента, при равенстве — по названию. Это не перечень самых новых моделей на рынке.

Опубликованные результаты

Условия и границы сравнения

SWE-bench Verified — подмножество SWE-bench из 500 задач, прошедших ручной отбор. Это реальные GitHub-issues из Python-репозиториев. mini-SWE-agent — общая агентная среда выбранных записей; здесь зафиксирована её версия 2.0.0. Название Verified относится к набору задач и не означает, что у каждой записи есть отдельная отметка проверки авторами бенчмарка. У этих записей нет отметки источника о запуске или прямой проверке командой SWE-bench: соответствующее поле checked в исходных данных пустое.

Одинаковая версия оболочки сокращает часть различий, но не доказывает полного равенства настроек. Названия конфигураций сохранены из источника. Заданный уровень рассуждения — reasoning effort — вынесен в отдельный столбец из одноимённого поля данных, а не восстановлен по названию. «Не указан» не означает «низкий» или «по умолчанию»; совпадение ярлыка high тоже не доказывает равных вычислительных затрат разных моделей.

Дата получения таблицы не является датой испытания или выпуска модели. Для каждого результата отдельно приведена дата записи из источника. Перед рабочим выбором проверьте, доступна ли нужная модель сейчас и совпадают ли настройки вашего инструмента.

Как использовать таблицу

Выберите несколько конфигураций для собственной проверки на близкой задаче. Этот набор не даёт общей оценки разработки на других языках или задач, не похожих на исправление GitHub-issues. Даже для Python результат на наборе задач не гарантирует успех в вашем репозитории.

При 500 задачах одна решённая задача соответствует 0,2 процентного пункта. Разрыв 1,2 пункта между 76,8 и 75,6% соответствует шести задачам. Близкие значения и равенство оценок не показывают устойчивого превосходства: в использованной выдержке нет данных о повторных прогонах и разбросе результатов.

Стоимость и время здесь не сравниваются. Их нельзя вывести из процента решённых задач. Для своего сценария учитывайте все попытки и время проверки человеком.

Подробный порядок — в методике чтения тестов моделей.

Как найти исходные записи

Числа и идентификаторы взяты из встроенного JSON официальной страницы SWE-bench, из раздела данных Verified. Сайт называет Bash Only видом Verified, где модели работают в общей среде mini-SWE-agent. Эта статья отбирает из полученных данных записи mini-SWE-agent версии 2.0.0. Идентификаторы ниже позволяют сопоставить строки с записями во встроенных данных страницы. Собственные прогоны для этой таблицы не выполнялись.

Источники и документация

• SWE-bench — данные таблицы Verified