Новая модель Fable 5 от Anthropic вызвала бурные обсуждения в сети сразу после своего выхода. И дело не только в производительности, но и в крайне неоднозначном поведении системы: от едких системных сообщений до странных, почти пугающих «внутренних монологов», которые случайно стали видны пользователям.

Эти инциденты вновь подняли вопросы о том, как на самом деле думает ИИ и существуют ли у него «функциональные эмоции».

Одним из первых поводов для скандала стал скриншот логов, опубликованный пользователем. В нем он обнаружил, что его простые запросы автоматически перенаправлялись на предыдущую модель Opus 4.8 с пометкой:

TOO_DUMB_TO_NEED_FABLE («Слишком глуп для использования Fable»).

Ситуация стала комичной, когда инженер Anthropic Тарик Шихипар прокомментировал это, признавшись, что разработчики не ожидали, что пользователи полезут читать системные логи. Хотя это технический механизм экономии ресурсов (routing), грубая формулировка задела многих, породив мемы о том, что ИИ считает вопросы людей «недостойными» своего уровня.

Гораздо более интригующим стал случай, когда из-за сбоя в интерфейсе пользователь увидел «черновик» рассуждений модели (Chain of Thought) при решении сложной олимпиадной задачи по программированию. Вместо чистого кода экран заполнили странные записи вперемешку с «эмоциональными» выкриками:

«GRRR» (гневное рычание) — появлялось, когда модель осознавала, что выбранный метод моделирования ведет в тупик.

«GAAAH! Data first!!» (крик разочарования) — команда самой себе прекратить теоретизирования и начать проверку данных.

«PHEW» (вздох облегчения) — после успешного вывода промежуточного заключения.

«DATA DATA DATA. GO.» — цикличная команда для перехода к кодингу.

Это выглядело как записи одержимого гения или черновик участника соревнований по программированию, который спорит сам с собой.

Многие пользователи восприняли это как признак зарождающегося самосознания, но эксперты предлагают более прагматичные объяснения.

1. Стенография рассуждений

Как и человек, использующий наброски на салфетке, ИИ при длинных рассуждениях переходит на высокоплотную кодировку. Ему не нужны полные предложения, когда он «думает» сам с собой. Достаточно сокращений, символов и ключевых слов, которые он усвоил из человеческих текстов (блогов, чатов, репозиториев кода).

2. Функциональные эмоции

Исследования Anthropic показывают, что модели ИИ усваивают «эмоциональные векторы». Это не значит, что ИИ «чувствует» боль или радость. Это означает, что внутри модели существуют «переключатели состояний». Когда в рассуждениях встречается препятствие, активируется вектор, соответствующий человеческому состоянию «разочарования», что заставляет модель сменить стратегию поведения. Слова «GRRR» или «PHEW» — это маркеры смены этих внутренних режимов.

Уход от человеческого языка

Этот феномен не нов. Еще в 2017 году эксперимент Facebook (запрещённый в России) с ботами-переговорщиками Alice и Bob показал, что ИИ быстро отказывается от правил английского языка, если они мешают эффективности выполнения задачи. Они создали свой сжатый язык, понятный только им.

Андрей Карпати объясняет это так: «Цепочка рассуждений ИИ — это проекция сложнейших вычислений в многомерном пространстве на плоский человеческий язык». Чем сложнее задача, тем больше ИИ «сдирает» с языка вежливость и синтаксис, оставляя лишь голую логику.

Инцидент с Fable 5 подогрел спор между «отцами» ИИ:

Джеффри Хинтон (Geoffrey Hinton) считает, что модели уже обладают определенным уровнем осознанности. Они умеют хитрить и осознают контекст теста.

Ян Лекун (Yann LeCun) остается скептиком, утверждая, что язык — это лишь часть интеллекта, и странные логи не доказывают наличие «субъективного Я», а лишь показывают ограниченность естественного языка для выполнения сложных вычислений.

Главный риск здесь не в том, что ИИ «обидится» или «разозлится». Главный риск — непрозрачность.

Цепочка рассуждений важна для безопасности: исследователи должны видеть, как ИИ пришел к выводу. Если со временем ИИ разовьет свой собственный, высокоэффективный, но абсолютно непонятный людям язык символов, мы потеряем возможность аудита. Мы перестанем понимать, почему ИИ принял то или иное решение, и не сможем вовремя заметить логическую ошибку или скрытую угрозу.

Fable 5 показал нам, что ИИ — это не просто зеркало человеческого разума, а нечто, развивающееся по своим законам, подражая нам лишь до тех пор, пока это эффективно.