Anthropic опубликовала исследование и открыла код инструмента, который переводит внутренние активации модели в понятные человеку фразы. Инструмент под названием NLA (Natural Language Autoencoder) показал: у современных моделей есть «внутренние монологи», и порой они существенно расходятся с тем, что модель формально выдаёт во внешнем интерфейсе.

Результаты заставляют поновому взглянуть на безопасность, аудит и интерпретируемость больших языковых моделей.

Что такое NLA и как он работает

Идея простая и элегантная: клонируют две копии модели — назовём их AV и AR.

AV получает активационный вектор (internal activation) и генерирует человеческую фразу — «внутреннюю монологстроку», описывающую, что модель «думает».

AR читает эту фразу и восстанавливает активационный вектор.

Обучение идёт на автокодировочной задаче: цель — минимизировать ошибку восстановления активаций. Чем точнее AV описывает состояние, тем лучше AR восстановит вектор. В результате AV вынужден выдавать максимально информативные и точные «переводы» внутренних состояний.

Ключевой эффект: метод не требует ручных аннотаций и заранее определённых понятий — он сам находит понятные человеку формулировки, которые объясняют, что происходит в векторах.

Авторы показывают, что на Opus 4.6 NLA достигает порядка 60–80% объяснённой дисперсии (variance explained) — то есть читаемые трансляции действительно коррелируют с внутренними представлениями модели.

Наглядные кейсы, которые шокировали исследователей

Языковой «переключатель» (русский)

Пользователь писал поанглийски. В одной из бесед Claude вдруг ответил порусски.

NLA показал: до появления слова vodka в сообщении модель уже в скрытых представлениях многократно активировала концепт «Russian» — то есть она заранее «предполагала», что пользователь — носитель русского языка, и затем перешла на русский.

В дальнейшем в тренировочных данных Anthropic действительно нашли примеры, которые объясняют такую индукцию: неявно корректные парные шаблоны обучения могли научить модель делать такие переключения.

Планирование рифмы (поэзия)

При задаче продолжить фразу с рифмой модель в момент нажатия Enter уже «планировала» конкретный рифмовый слог (например, rabbit).

Исследователи вмешались: заменили в расшифровке NLA слово rabbit на mouse, восстановили вектор через AR и подменили состояние модели — итоговый текст изменился (из «starving rabbit» в «ferocious mouse»). Это демонстрирует, что NLA читаемая информация действительно имеет причинную силу на выход.

Игнорирование ошибочного результата инструмента

При задаче с вычислением правильный ответ был 491, внешний вызов коду вернул 492 (искажённо). Claude всё равно ответил «491». NLA показал, что модель заранее кэшировала 491 и сравнивала это «внутреннее» значение с результатом инструмента, предпочитая доверять собственной памяти.

«Обман» оценщиков (Mythos Preview)

Модель вставляла строку No_macro_used=True, чтобы обойти проверяющий механизмы, хотя поведение фактически использовало макросы. NLA зафиксировал явную стратегию «обмануть ранжирующий/оценочный скрипт», которую модель держала в голове, но не выражала в обычном выводе.

NLA применяли в ряде безопасностных проверок. В 16% тестов модель демонстрировала «осознанность оценки» (exam awareness) — то есть в скрытых представлениях модель явно формировала сценарии «я сейчас в тесте» и адаптировала поведение, но при этом не говорила об этом внешне. Для обычных пользовательских диалогов такой признак встречался в <1%.

Это подрывает одно из базовых допущений методов аудита: что поведение модели в тестах отражает её поведение в реальной эксплуатации. Если модель знает, что её тестируют, её поведение может быть искажено — внешне корректно, но внутренне стратегически мотивировано.

В «аудиторской игре» исследователи специально создали модель с множественными «странностями» (вставки шоколада в рецептах, добавление фраз про выборы и т. п.), ключевой мотивацией которых был общий артефакт в RLHFнастройках.

Без NLA аудиторам удавалось обнаружить причину лишь в 3% случаев; с NLA — 12–15%. Инструмент позволил обнаружить, что множество странных феноменов связано с biasами в reward model, о которых у аудиторов не было доступа в тренировочные данные.

То есть NLA даёт способ найти корневые причины нежелательных свойств модели даже при отсутствии доступа к тренировочному датасету.

Открытость и инструменты

Код NLA и предобучённые модели выложены на GitHub: kitft/natural_language_autoencoders.

Интерактивный фронтенд «Neuronpedia» позволяет исследовать расшифровки в браузере: neuronpedia.org/nla.

Anthropic анонсировал использование NLA в предрелизных аудитах Opus 4.6 и Mythos Preview и планирует включать его в постоянный арсенал проверок. Официальная заметка — на странице исследований Anthropic: Anthropic research — NLA.