Это руководство объясняет, как читать опубликованные результаты тестов моделей и учитывать границы сравнения. Происхождение конкретных оценок смотрите на странице соответствующей таблицы.
Оценка модели в бенчмарке показывает результат в определённых условиях. Прежде чем сравнивать два числа, проверьте набор задач, версию модели, настройки запуска и способ подсчёта. Одинаковое название метрики ещё не делает результаты сопоставимыми.
Для практического выбора сначала найдите тест, близкий к вашей работе. Если нужен поиск ошибки в коде, тест на программирование полезнее общего места в сборной таблице. Затем проверьте кандидатов на собственном небольшом примере.
Зафиксируйте правила отбора
Перед сравнением определите набор задач и версию оболочки. Сохраняйте названия конфигураций, даты и опубликованные проценты. Укажите, какие строки вошли в подборку и почему. Отсутствующие значения не заменяйте нулями, не смешивайте оценки разных тестов в общий балл без обоснованной методики. Дату получения данных отделяйте от даты записи результата.
Какие сведения нужны рядом с числом
- Название и версия набора задач.
- Точная версия модели и дата запуска.
- Инструменты и среда, доступные модели.
- Число попыток и правило выбора ответа.
- Метрика и размер проверенной выборки.
- Стоимость и время, если они измерялись.
- Ссылка на методику и исходные результаты.
Если часть сведений отсутствует, отметьте ограничение сравнения. Нельзя достоверно восстановить неизвестную цену по одному баллу или заменить отсутствующий результат нулём.
Почему важна конкретная версия теста
На сайте SWE-bench выделены разные наборы. Verified содержит 500 отобранных человеком задач, Lite — 300 задач для менее затратной оценки, а Multilingual — задачи из разных языков программирования. Метрика % Resolved означает долю решённых заданий.
Поэтому два процента из разных наборов нельзя читать как прямую разницу качества. Даже на одном наборе важно проверить окружение. В представлении Bash Only модели запускаются в одинаковой среде mini-SWE-agent; это условие относится именно к этому представлению таблицы.
Одна попытка и серия попыток
Учебный пример: в первом запуске система решила 6 из 10 задач. Затем ей разрешили несколько попыток на каждую задачу и выбрали лучший результат — получилось 8 из 10. Число выросло, но вырос и ресурс на решение. Сравнение с другой системой, которой дали одну попытку, требует явной оговорки.
Аналогично учитывайте подсказки, доступ к интернету, длину контекста и дополнительные инструменты. Итог относится к модели вместе с выбранными условиями запуска.
Как смотреть на стоимость
Для своей задачи полезно считать расходы до принятого результата, включая неудачные попытки. Отдельно записывайте время проверки человеком. Дешёвый ответ, который приходится полностью переделывать, может оказаться неудобным рабочим вариантом.
Если опубликованы только баллы, не придумывайте стоимость. Возьмите её из описания запуска или проведите отдельную проверку с журналом расходов. Указывайте дату и валюту, если публикуете денежные значения.
Как перейти от таблицы к выбору
- Выберите несколько кандидатов по подходящему тесту.
- Подготовьте одинаковое задание с заранее известными критериями.
- Сохраните исходные данные и настройки.
- Проверьте результат, время, расходы и требуемые ручные правки.
- Сделайте вывод только о проверенной задаче и условиях.
Бенчмарк помогает сократить список кандидатов. Финальное решение привязывайте к своей работе: корректности результата, удобству проверки и доступным условиям использования.