В 2026 году автоматическая генерация кода стала привычной частью рабочего процесса: попросил модель — получил функцию, тесты и CIпуллреквест. Но рост скорости сопровождался падением уровня проверки — и последствия иногда оказываются катастрофическими. Проект Narwhal AI Code Risks от лаборатории Narwhal (Пекинский университет) аккуратно собирает реальные инциденты, ранние сигналы и типовые сценарии риска, чтобы помочь инженерам заранее заметить «тонкий лёд». Типичный пример — инцидент с Moonwell: PR, подписанный автоматическими инструментами (Claude, Copilot) и людьми, прошёл все 28 проверок, но в конфиге была серьёзная семантическая ошибка в цене cbETH. Система автоматически проводит расчёты и списывает залоги на миллионы долларов — и всё это произошло несмотря на отсутствие синтаксисаошибок или падающих тестов. Вывод: «зелёные» CIлампочки не гарантируют отсутствие бизнеслогикирисков. Narwhal собирает и структурирует знания в три уровня: cases/ — документированные инциденты с доказательной цепочкой; inferred/ — ранние сигналы и подозрительные паттерны, требующие наблюдения; scenarios/ — абстрактные, но реалистичные сценарии риска для превентивного анализа. Проект доступен открыто на GitHub: NarwhalLab / Narwhalaicoderisks. Авторы выделяют семь ключевых классов угроз: Поставка/цепочка зависимостей (supplychain) — несуществующие/вредоносные пакеты; Уязвимости кода — забытые валидации, уязвимости путей и т.д.; Облако/инфраструктурные конфиги — открытые бакеты, широкие IAMправа; Риски агентов — когда модель сама выполняет действия и может вытекать чувствительная информация; Вертикальные риски — отраслевые последствия (финансы, медицина); Права и комплаенс — интеллектуальная собственность, лицензии; Человеческий фактор — слепая вера в AI, неверная валидация результатов. AIмодели перестали быть лишь «помощниками для автозаполнения»: они читают файлы, меняют конфиги, предлагают зависимости и даже подписывают PR. Эти автоматические действия расширяют поверхность атаки и делают инциденты менее тривиальными для отлова традиционными средствами тестирования. Практические рекомендации разработчикам и командам Не доверять «зелёному» пайплайну — добавить семантические проверки и бизнесвалидации. Ввести явный аудит изменённых конфигов и ценовых параметров (особенно в финансах). Ограничить автоматическое исполнение агентами: запретить доступ к секретам и критичным операциям без человековерификации. Внедрять чеклисты и правила из Narwhal для сценарной проверки и обучения команд. Мониторить потребление автоматических изменений и отслеживать аномалии в поведении моделей. Narwhal AI Code Risks — это не паникёрская коллекция ошибок, а практический «навигационный журнал» для эпохи, когда AI начинает рулить значительной частью инженерных процессов. Записанные кейсы и сценарии превращают разрозненные сигналы в повторяемые уроки — и дают шанс следующим командам не повторять тех же ошибок. Если вы внедряете AI в разработку — имеет смысл начать с просмотра и интеграции этих материалов.









