OpenAI объявила о временном замедлении работ над своей экспериментальной моделью следующего поколения, Astra, после внутренних оценок, которые показали: в комбинированном наборе навыков модель может представлять риск в области кибербезопасности.

По словам компании, Astra демонстрировала повышенные способности в написании кода, поиске уязвимостей, планировании атак и последовательном выполнении сложных задач — комбинация, приближающая модель к «максимально прокачанному» хакерскому набору умений.

OpenAI признаёт, что не может полностью исключить риск возникновения у Astra критических возможностей для сетевых атак, поэтому компания усиливает тестирование и меры безопасности и замедляет темп разработки, пока не будут внедрены дополнительные гарантии.

Astra переведена в изолированную тестовую среду с расширенным мониторингом (включая контроль за агентными приложениями), чтобы уменьшить вероятность нежелательного использования или утечки опасных поведенческих стратегий.

Руководство компании уведомило американские власти о принятых решениях — это редкий пример добровольного обмена информацией о задержке выпуска изза соображений безопасности.

OpenAI опирается на собственную «рамочную политику готовности» (Preparedness framework), принятую ещё в 2023 году, которая предусматривает замедление исследований при появлении повышенных рисков. На конференции Black Hat сотрудники OpenAI публично говорили о намерении «сознательно замедлять» исследования для повышения безопасности.

В отрасли происходят заметные разногласия: Anthropic, например, ранее декларировал схожие принципы приостановки тренировки моделей, но затем ослабил некоторые положения своей политики; одновременно Anthropic выпустил модели с высокой киберспособностью (в модифицированных версиях) и тоже публиковал предупреждения о возможной автономной эволюции ИИ.

В США разрабатывается правительственная оценочная рамка для моделей перед выпуском; однако многие детали (кто и как будет проводить оценки, определение «передовых моделей» и «государственных рисков») остаются неясными. Компании и власти пытаются согласовать процессы взаимодействия и регламенты предварительных проверок.

OpenAI подчёркивает, что целью замедления является реализация дополнительных защит и безопасная проверка модели, а не окончательный отказ от разработки. Компания намерена в конечном счёте сделать Astra доступной, но только после снижения выявленных рисков.

Сам факт добровольного уведомления регуляторов и публичного объявления о замедлении — редкий прецедент в эпоху «гонки за масштабом» моделей. Это показывает, что для некоторых лабораторий вопросы безопасности стали важнее простого ускорения исследований.

Вывод Решение OpenAI временно притормозить разработку Astra — сигнал о том, что при развитии крупных моделей всё больше внимания уделяется потенциалу злоупотреблений в киберсфере.

Остаётся открытым, как будут формироваться и исполняться внешние проверки и стандарты, и сможет ли индустрия совместно выработать практики, которые позволят развивать сильные модели без непропорциональных рисков.