Внедрение искусственного интеллекта обычно обещает компаниям рост производительности и снижение расходов. Однако история Amazon показывает обратную сторону этой медали: без ограничений и контроля AI может не экономить деньги, а стремительно расходовать их.

Согласно внутренним отчётам Amazon, один из проектов компании на базе Claude Sonnet должен был выполнять относительно простую задачу — сопоставлять имена авторов с перечнем товаров на сайте Amazon. Но из-за роста числа обращений к модели и отсутствия эффективного мониторинга расходов проект завершился счётом примерно в $1,8 млн.

При этом фактические расходы превысили первоначальный бюджет на 860%. Ещё более тревожно, что Amazon обнаружила проблему лишь примерно через пять месяцев после запуска проекта.

В традиционной программе ошибка обычно приводит к сбою, снижению производительности или дополнительной нагрузке на серверы. AI-агент действует иначе: он может самостоятельно повторять операции, вызывать инструменты, анализировать результаты и запускать следующие шаги.

Если в такой цепочке нет ограничений, даже небольшая ошибка способна превратиться в бесконечный цикл обращений к модели. В результате задача, которая должна была занимать несколько минут, начинает постоянно потреблять токены и генерировать всё более крупные счета.

Один из инженеров Amazon сформулировал проблему так: ошибки, которые раньше были незначительными, в эпоху ИИ могут стать катастрофически дорогими.

$1,8 млн — не единственный случай

Внутренний отчёт Amazon описывает ещё как минимум два эпизода перерасхода:

при создании инструмента для финансового аудита дополнительные расходы составили около $541 тыс.;

проект по оптимизации логистической сети Amazon получил непредвиденные расходы примерно на $134 тыс.

Во втором случае проблема оставалась незамеченной более двух недель.

Amazon подчёркивает, что речь идёт о небольшом числе экспериментальных команд, а не обо всём использовании ИИ в компании. На фоне примерно 300 тысяч корпоративных сотрудников и квартальной выручки свыше $180 млрд эти суммы действительно выглядят небольшими. Но для большинства компаний подобный перерасход может стать критическим.

Ранее AWS уже сталкивалась с последствиями чрезмерных полномочий AI-инструментов. По данным публикации, программный помощник Kiro получил права, сопоставимые с правами старшего инженера. При устранении проблемы он выбрал вариант «удалить и пересоздать неисправную среду», что в итоге привело к 13-часовому сбою в работе AWS.

После этого Amazon ограничила права AI-агентов и отказалась предоставлять им доступ на том же уровне, что и инженерам.

Другой пример связан с внутренним рейтингом сотрудников по использованию AI-инструментов. Система должна была стимулировать применение ИИ, но некоторые работники начали намеренно увеличивать расход токенов ради более высокого места в рейтинге. Это явление получило название tokenmaxxing. В результате Amazon закрыла рейтинг.

Проблема Amazon отражает более широкий тренд. Компании активно поощряют сотрудников использовать ИИ, рассчитывая, что большее число запросов автоматически приведёт к росту эффективности. Но количество потраченных токенов ещё не означает создание большей ценности.

С распространением AI-агентов расходы становятся менее предсказуемыми. Агент может выполнять десятки шагов вместо одного, повторять неудачные операции, вызывать слишком дорогие модели или продолжать работу без своевременного вмешательства человека.

Поэтому компаниям нужны не только сильные модели, но и система управления ими: лимиты расходов, мониторинг в реальном времени, разрешения по принципу минимально необходимого доступа, автоматическая остановка подозрительных процессов и обязательная проверка критических действий человеком.

В прошлом работодатели опасались, что программист напишет дорогостоящий баг. Теперь к этому риску добавился новый: AI-агент может не просто создать ошибку, а самостоятельно масштабировать её и превратить в многомиллионный счёт.

В эпоху искусственного интеллекта главный вопрос для бизнеса звучит уже не только как «умеем ли мы пользоваться ИИ?», но и как «умеем ли мы его контролировать?»