В компьютерном зрении долгое время доминировали подходы, далекие от генеративных моделей — такие как обучаемая классификация, контрастивное обучение или автоэнкодеры. Генеративные методы хоть и демонстрировали рост качества с увеличением масштабов, все же уступали специализированным решениям. Однако стремительное развитие моделей генерации изображений и видео за последний год вновь поставило фундаментальный вопрос: если модель умеет «создавать» визуальный мир, значит ли это, что она способна его «понимать»? Ответ на этот вопрос попыталась дать команда Google DeepMind, представив модель Vision Banana — универсальную визуальную систему, построенную на базе Nano Banana Pro и дообученную с помощью легкой инструкции (instruction tuning). Среди авторов работы — известные исследователи Хэ Каймин и Се Сайнин, что подчеркивает значимость подхода для будущего всей области. Главная идея Vision Banana — представить любую задачу компьютерного зрения как задачу генерации изображения. Вместо того чтобы обучать отдельные модели для сегментации, оценки глубины или нормалей поверхности, исследователи переводят все выходные данные в единый формат — RGB-изображение. Например, для задачи сегментации модель получает инструкцию выделить определенный объект заданным цветом. Полученное изображение затем можно автоматически декодировать обратно в маску. Аналогично кодируются глубина и другие физические параметры — через обратимые преобразования, позволяющие точно восстановить исходные значения. Такой подход дает сразу несколько преимуществ: одна модель решает множество задач без изменения архитектуры; требуется минимальное дополнительное обучение; сохраняется способность к генерации изображений. Vision Banana обучается с добавлением небольшого количества данных по визуальным задачам к исходному набору генеративной модели. Это позволяет «научить» модель правильно форматировать ответы, не разрушая ее базовые способности. При этом обучение проводится так, чтобы тестовые наборы данных не пересекались с обучающими, что делает результаты более объективными. Несмотря на это, модель демонстрирует впечатляющую обобщающую способность и в ряде задач превосходит специализированные решения. В экспериментах Vision Banana показала сильные результаты сразу в нескольких направлениях: Сегментация изображений: превзошла SAM 3 в ряде задач, включая семантическую и референциальную сегментацию. Оценка глубины: достигла более высокой точности, чем такие модели, как Depth Anything 3, даже без использования параметров камеры. Оценка нормалей поверхности: показала лучшие результаты на внутренних сценах и сопоставимые — на внешних. При этом генеративные способности модели практически не ухудшились, что подтверждает: универсальность достигнута без компромиссов. Несмотря на успехи, Vision Banana пока не лишена недостатков. В частности, она уступает специализированным моделям в задачах instance segmentation, а также требует больше вычислительных ресурсов. Кроме того, текущая версия работает только с одиночными изображениями — без учета видео и многокамерных данных. Тем не менее, направление выглядит крайне перспективным. Исследователи предполагают, что в будущем генеративные модели могут стать универсальной основой для всех визуальных задач — так же, как большие языковые модели стали базой для обработки текста. Vision Banana демонстрирует важный сдвиг: граница между «пониманием» и «генерацией» постепенно исчезает. Если раньше это были разные направления исследований, то теперь они начинают сходиться в единой архитектуре. Возможно, в ближайшие годы мы увидим появление универсальных визуальных моделей, способных одинаково хорошо и анализировать, и создавать изображения. И тогда ключевой вопрос будет звучать уже иначе: не «понимает ли ИИ изображение», а «насколько глубоко он способен его интерпретировать».
