БИБЛИОТЕКА ПРАКТИЧЕСКОГО ИИ

Бенчмарки

Датированные результаты тестов ИИ-моделей и агентов, первичные данные и правила чтения оценок.

Все материалы

6 материалов

Агенты

Сравнение 18 конфигураций ИИ-моделей на задачах на русском языке: успех, число задач и время выполнения. Результаты испытаний 23 сентября 2026 года.

Другие тесты

Что проверяют задачи на функции и задачи из репозиториев, как обвязка меняет результат и как поставить пилот.

Агенты

Как сравнить ИИ-агентов на одинаковой задаче, зафиксировать условия и оценить результат всей системы.

Модели

Как сравнивать оценки моделей: набор задач, версии, настройки, стоимость и границы применимости результата.

Модели

Результаты моделей на SWE-bench Verified в одной версии mini-SWE-agent: датированная выборка и правила чтения оценок.

Агенты

Moatless Tools, OpenHands и SWE-agent с Claude 4 Sonnet на SWE-bench Verified: результаты, правило отбора и ограничения сравнения.