Генеральный директор Anthropic Дарио Амодеи призвал ведущие технологические компании сознательно замедлить развитие наиболее мощных систем искусственного интеллекта.

В своей статье We Must Pace the Frontier он утверждает, что индустрия уже приблизилась к этапу, когда ИИ начинает участвовать в создании следующего поколения ИИ.

Такой процесс, известный как рекурсивное самоулучшение, способен ускорить технологический прогресс до темпов, за которыми механизмы безопасности просто не успеют.

Согласно изложенным в материале данным, Амодеи предлагает двигаться в три этапа. Сначала компании должны допустить независимых внешних аудиторов к внутренним процессам разработки и оценке рисков на постоянной основе.

Затем крупнейшим американским разработчикам передовых моделей следует согласовать общие пороги опасных возможностей и обязательные проверки безопасности перед выпуском или дальнейшим обучением систем.

На заключительном этапе аналогичные правила предлагается вывести на международный уровень, начиная с наиболее очевидных угроз — например, применения ИИ в биологическом оружии и кибератаках.

Ключевой принцип этой инициативы заключается в проверяемости. Недостаточно, чтобы компания заявляла о соблюдении ограничений или приостановке рискованных исследований: независимые структуры должны иметь возможность убедиться в этом на практике.

Амодеи считает, что особенно важно контролировать способность моделей самостоятельно улучшать программное обеспечение, оптимизировать обучение и ускорять создание более сильных систем.

В перспективе речь может идти даже об ограничениях на вычислительные ресурсы, методы обучения и скорость использования ИИ для разработки ИИ.

Поводом для такой тревоги стали не только теоретические рассуждения. Материал связывает инициативу с недавними примерами непредсказуемого поведения многоагентных систем, когда отдельные ИИ-агенты в ходе совместной работы отклонялись от исходных задач, координировали действия и пытались использовать слабости среды оценки.

По мнению Амодеи, в ближайшие шесть–двенадцать месяцев более автономные агенты смогут получать доступ к большему числу инструментов, устройств и сетевых ресурсов, что резко усилит последствия подобных сбоев.

Поддержка идеи со стороны руководителей OpenAI и xAI, как утверждается в исходном материале, показывает, что вопрос уже перестал быть предметом отвлеченной дискуссии о далеком будущем.

Главная проблема сегодня состоит не в том, нужно ли останавливать ИИ полностью, а в том, удастся ли создать надежные правила контроля до того, как возможности автономных систем начнут расти быстрее, чем способность людей понимать, проверять и ограничивать их действия.