В 2026 году автоматическая генерация кода стала привычной частью рабочего процесса: попросил модель — получил функцию, тесты и CIпуллреквест. Но рост скорости сопровождался падением уровня проверки — и последствия иногда оказываются катастрофическими.

Проект Narwhal AI Code Risks от лаборатории Narwhal (Пекинский университет) аккуратно собирает реальные инциденты, ранние сигналы и типовые сценарии риска, чтобы помочь инженерам заранее заметить «тонкий лёд».

Типичный пример — инцидент с Moonwell: PR, подписанный автоматическими инструментами (Claude, Copilot) и людьми, прошёл все 28 проверок, но в конфиге была серьёзная семантическая ошибка в цене cbETH.

Система автоматически проводит расчёты и списывает залоги на миллионы долларов — и всё это произошло несмотря на отсутствие синтаксисаошибок или падающих тестов. Вывод: «зелёные» CIлампочки не гарантируют отсутствие бизнеслогикирисков.

Narwhal собирает и структурирует знания в три уровня:

cases/ — документированные инциденты с доказательной цепочкой;

inferred/ — ранние сигналы и подозрительные паттерны, требующие наблюдения;

scenarios/ — абстрактные, но реалистичные сценарии риска для превентивного анализа.

Проект доступен открыто на GitHub: NarwhalLab / Narwhalaicoderisks.

Авторы выделяют семь ключевых классов угроз:

Поставка/цепочка зависимостей (supplychain) — несуществующие/вредоносные пакеты;

Уязвимости кода — забытые валидации, уязвимости путей и т.д.;

Облако/инфраструктурные конфиги — открытые бакеты, широкие IAMправа;

Риски агентов — когда модель сама выполняет действия и может вытекать чувствительная информация;

Вертикальные риски — отраслевые последствия (финансы, медицина);

Права и комплаенс — интеллектуальная собственность, лицензии;

Человеческий фактор — слепая вера в AI, неверная валидация результатов.

AIмодели перестали быть лишь «помощниками для автозаполнения»: они читают файлы, меняют конфиги, предлагают зависимости и даже подписывают PR. Эти автоматические действия расширяют поверхность атаки и делают инциденты менее тривиальными для отлова традиционными средствами тестирования.

Практические рекомендации разработчикам и командам

Не доверять «зелёному» пайплайну — добавить семантические проверки и бизнесвалидации.

Ввести явный аудит изменённых конфигов и ценовых параметров (особенно в финансах).

Ограничить автоматическое исполнение агентами: запретить доступ к секретам и критичным операциям без человековерификации.

Внедрять чеклисты и правила из Narwhal для сценарной проверки и обучения команд.

Мониторить потребление автоматических изменений и отслеживать аномалии в поведении моделей.

Narwhal AI Code Risks — это не паникёрская коллекция ошибок, а практический «навигационный журнал» для эпохи, когда AI начинает рулить значительной частью инженерных процессов. Записанные кейсы и сценарии превращают разрозненные сигналы в повторяемые уроки — и дают шанс следующим командам не повторять тех же ошибок. Если вы внедряете AI в разработку — имеет смысл начать с просмотра и интеграции этих материалов.