Китайская компания Om AI анонсировала семейство моделей VLX, которое позиционируется как первая в мире потоковая мультимодальная система, разработанная специально для работы на конечных устройствах в физическом мире.

В отличие от традиционных моделей, анализирующих заранее записанные видео, VLX способна непрерывно обрабатывать видеопоток в режиме реального времени и практически мгновенно реагировать на изменения окружающей среды.

Платформа состоит из трех взаимосвязанных компонентов. VLX-Flow отвечает за постоянное восприятие окружающего пространства, непрерывно анализируя видеопоток без остановок на обработку отдельных кадров.

VLX-Seek обеспечивает точное определение объектов и их местоположения, используя новый подход, основанный на выборе наиболее подходящей области изображения вместо вычисления координат. VLX-Go превращает результаты анализа в конкретные команды движения, позволяя роботам, дронам и другим устройствам самостоятельно следовать маршруту, обходить препятствия и выполнять навигацию.

По словам разработчиков, архитектура изначально создавалась для работы непосредственно на устройствах, а не является упрощённой версией облачной модели. Благодаря этому удалось добиться минимальной задержки — до 0,06 секунды, а также обеспечить поддержку моделей различного размера — от 0,6 до 10 млрд параметров.

Главное отличие VLX заключается в изменении самого принципа работы искусственного интеллекта. Если традиционные мультимодальные модели реагируют только после получения запроса пользователя, то новая система постоянно наблюдает за происходящим, анализирует изменения и при необходимости самостоятельно принимает решения.

Такой подход особенно востребован в робототехнике, беспилотном транспорте, промышленных инспекционных системах, интеллектуальных камерах и других устройствах, которым необходимо работать в постоянно меняющейся реальной среде.

В Om AI считают, что именно подобные потоковые модели могут стать одной из ключевых технологий следующего поколения физического искусственного интеллекта, где важны не только понимание информации, но и способность непрерывно воспринимать окружающий мир, быстро принимать решения и сразу выполнять необходимые действия.