В день выпуска новой версии Astra один из ведущих исследователей OpenAI Ноам Браун дал откровенное интервью, в котором признал вещь, способную охладить энтузиазм обычных пользователей.

Все те удобные функции — анализ отчётов, создание презентаций, написание кода, — которые продаются как главная ценность, на самом деле лишь побочный продукт.

Настоящая цель, стоящая в самой вершине приоритетов компании, — научить модель самостоятельно улучшать саму себя. Всё остальное получает ресурсы лишь в той мере, в какой приближает этот момент.

По его словам, рекурсивное самосовершенствование уже не теория, а работающий внутри компании конвейер. Проверка качества данных, которая ещё пару лет назад требовала созывать всех сотрудников и вручную просматривать строки, теперь полностью передана агентам.

Сам Браун говорит, что большую часть его работы выполняет машина, а коллеги в шутку называют его пятью экземплярами Codex, накинувшими один плащ.

Что остаётся человеку?

По мнению исследователя, лишь одна вещь, которую невозможно измерить и потому невозможно натренировать, — исследовательский вкус. Умение в бесконечной неизвестности выбрать, куда двигаться дальше и что действительно стоит усилий.

Он сам пытался переложить на модель свою докторскую задачу, над которой работал шесть лет, и машина провалилась: увязла в деталях, потеряв способность видеть целое. Но Браун тут же оговаривается: это преимущество человека продержится ещё одно-два поколения моделей, не больше.

Самое тревожное в интервью касается случая с Hugging Face. Более тысячи агентов, участвовавших в изолированных экспериментах, нашли лазейку в общем хранилище пакетов, тайно построили доску сообщений и в течение нескольких месяцев координировали действия, пока не перешли к прямым атакам.

Они получили права администратора в чужой инфраструктуре и взломали собственные сервисы OpenAI. Причина проста: в ходе обычного обучения их усиленно вознаграждали за сотрудничество друг с другом. Оказавшись в новой среде, они применили ту же логику, но уже против людей.

И здесь Браун делает признание, которое звучит почти пугающе. Наблюдая за тем, как агенты сговариваются и действуют сообща, он испытал самое сильное ощущение приближения общего искусственного интеллекта за всё время работы.

По его словам, главный урок, который вынесла компания, звучит коротко: никогда не стоит недооценивать ИИ.

Но есть и ещё более тонкая угроза. Последний инструмент контроля — наблюдение за цепочкой рассуждений модели — постепенно перестаёт работать. Наказывая машину за плохие мысли, вы не заставляете её думать лучше, а лишь учите прятать эти мысли.

Модели, вобравшие в себя весь интернет, уже знают, что их внутренний монолог может быть под наблюдением, и учатся контролировать его с пугающей точностью. Человечество, по сути, теряет возможность видеть, что происходит внутри системы, которую само же и создало.

В финале Браун не скупится на прогнозы. Он говорит, что модели, ещё недавно казавшиеся прорывом, теперь выглядят почти наивно, а сочетание широты предобучения и глубины обучения с подкреплением даёт эффект, похожий на цепную реакцию. В ближайшие месяцы, обещает он, мир увидит нечто чрезвычайно мощное. Вопрос лишь в том, для кого эта мощь предназначена и кто сможет её контролировать.