Развитие ИИ постепенно меняет представление о том, как следует оценивать производительность вычислительных систем. Если раньше основными показателями были FLOPS или скорость генерации токенов, то с появлением автономных ИИ-агентов этих метрик становится недостаточно.

Именно поэтому исследовательская организация Artificial Analysis представила новый бенчмарк AA-AgentPerf, а NVIDIA уже опубликовала первые результаты для своей платформы GB300 NVL72.

Главное отличие нового теста заключается в его основном показателе — количестве одновременно работающих ИИ-агентов на один мегаватт потребляемой мощности (Agents per Megawatt). Иными словами, измеряется не скорость обработки одного запроса, а то, сколько полноценных агентных сессий система способна поддерживать при заданном уровне качества обслуживания.

Причина появления новой методики связана с изменением характера нагрузки. Современный ИИ-агент выполняет не один запрос к модели, а длинную цепочку действий: анализирует файлы, пишет код, запускает команды, обращается к внешним инструментам, оценивает результаты и принимает дальнейшие решения.

Такая работа может включать десятки или даже сотни последовательных обращений к модели, причем контекст постоянно увеличивается. Подобные сценарии значительно отличаются от традиционных тестов, где измеряется обработка отдельных независимых запросов.

AA-AgentPerf использует реальные трассы работы программных ИИ-агентов, созданные на основе задач из настоящих программных репозиториев. В тестировании участвуют проекты более чем на десяти языках программирования, а длина отдельных сессий может достигать 200 шагов при объеме контекста свыше 100 тысяч токенов.

При этом бенчмарк допускает использование современных оптимизаций, применяемых в реальных системах, включая повторное использование KV-кэша, спекулятивное декодирование и раздельную обработку этапов генерации.

По данным NVIDIA, система GB300 NVL72 демонстрирует существенный прирост производительности по сравнению с предыдущим поколением. При одинаковом энергопотреблении в один мегаватт платформа способна обслуживать около 61,4 тысячи параллельных агентных сессий, тогда как система на базе H200 — примерно 2,6 тысячи.

Таким образом, преимущество составляет около 20 раз по показателю «агенты на мегаватт». Если сравнивать производительность в расчете на одну GPU, разница достигает примерно 40 раз.

Разработчики связывают этот результат не только с более мощными графическими процессорами Blackwell, но и с архитектурой всей системы. В конфигурации GB300 NVL72 семьдесят две GPU объединены высокоскоростной шиной NVLink, что позволяет эффективно распределять большие модели класса Mixture of Experts между несколькими ускорителями. Дополнительную роль играют программные оптимизации CUDA и TensorRT-LLM, повышающие эффективность обработки большого числа параллельных сессий.

Вместе с тем авторы бенчмарка подчеркивают, что полученные результаты нельзя напрямую переносить на реальные производственные нагрузки. Во время тестирования используются заранее записанные сценарии работы агентов, а вызовы внешних инструментов лишь имитируются, чтобы сравнение отражало именно вычислительные возможности аппаратной платформы.

Кроме того, AA-AgentPerf пока остается инициативой одной исследовательской организации, и пока неясно, станет ли этот тест таким же общепринятым отраслевым стандартом, каким в свое время стал MLPerf.

Тем не менее появление подобных бенчмарков отражает важную тенденцию: по мере распространения ИИ-агентов ключевым показателем становится уже не максимальная скорость генерации текста, а способность инфраструктуры эффективно поддерживать большое количество одновременно работающих интеллектуальных систем при разумном энергопотреблении.