Привычные поисковые системы создавались с расчетом на человека, который вводит короткий запрос, просматривает страницу выдачи, кликает по ссылкам и самостоятельно читает материалы.

Однако с развитием автономных AI-агентов логика работы с интернетом кардинально меняется. Агенту не нужны рекламные блоки, навигационные меню или десять синих ссылок: ему требуется актуальный, достоверный, структурированный и очищенный от информационного мусора контекст, который модель может сразу использовать для рассуждений и действий.

В ответ на эти изменения формируется новый сегмент поисковой инфраструктуры. Примером такого подхода стал стартап Keenable, основанный бывшими руководителями поисковых и облачных направлений Yandex и Amazon AGI.

Команда сознательно берет на себя трудоемкую и ресурсоемкую задачу: с нуля сканировать открытый интернет, создавать собственный веб-индекс на сотни миллиардов документов и оптимизировать архитектуру поиска именно под запросы автономных агентов и AI-лабораторий, минимизируя задержки и стоимость массовых вызовов.

Потребность в специализированных поисковых движках продиктована характером работы автономных систем. Если обычный пользователь генерирует единичные запросы, то сложный агент в рамках выполнения одной задачи способен обращаться к поиску десятки или сотни раз подряд: искать документацию, проверять факты, переформулировать запросы и сопоставлять данные из разных источников.

В таких сценариях ключевой единицей измерения затрат становится не стоимость одного запроса, а совокупная стоимость поиска на выполненную задачу.

Экономика агентного поиска напрямую связана с эффективностью использования токенов. Если поисковая система передает в модель пятитысячезначную страницу целиком, бизнес переплачивает за контекст и время вычислений.

Если же поисковый слой предварительно фильтрует рекламу и оставляет только ключевые фрагменты, итоговые затраты на работу языковой модели существенно снижаются.

На этом рынке уже активно развиваются компании вроде Exa, предлагающие глубокий поиск и сжатые выжимки, а также китайские сервисы Bocha, FlowSearch и сетевые API от крупных облачных провайдеров.

В перспективе эволюция агентного поиска может превратить весь открытый интернет из набора разрозненных веб-страниц в динамическую базу данных, к которой модели обращаются как к единому массиву фактов. Вместо поиска конкретного документа система будет объединять разрозненные сведения с разных сайтов в целостный ответ с подтвержденными источниками.

Вместе с тем создание поиска для агентов сталкивается с серьезными вызовами. Во-первых, владельцы сайтов и медиа всё чаще ограничивают доступ AI-краулерам или требуют плату за парсинг, поскольку агенты потребляют информацию напрямую, не принося ресурсам кликов, подписчиков и рекламных показов.

Во-вторых, возрастают риски безопасности: попадание вредоносного контента или скрытых инструкций в контекст агента, имеющего доступ к коду, корпоративным базам или финансовым операциям, может спровоцировать опасные действия.

В-третьих, на региональных рынках вроде китайского огромный объем ценной информации сосредоточен внутри закрытых мобильных экосистем, недоступных для прямого веб-сканирования.

Появится ли в результате новая масштабная индустрия, способная потеснить традиционных поисковых гигантов, покажет способность молодых инфраструктурных платформ удерживать низкую себестоимость, обеспечивать безопасность и выстраивать устойчивые отношения с поставщиками контента.