Исследования интерпретируемости современных языковых моделей обычно стремятся понять, что происходит внутри нейросети: какие области активируются, как передаётся информация и можно ли вмешаться в вычисления, чтобы изменить результат. Однако такой подход раскрывает лишь часть проблемы.

Поводом для дискуссии стала работа исследовательской команды Anthropic, посвящённая так называемому J-Space — наблюдаемому и управляемому участку внутренней активности модели Claude.

С помощью специального инструмента исследователи смогли отслеживать этот участок и проверять, как вмешательство в него влияет на ответы модели. Подобные работы важны: они помогают перейти от анализа внешнего поведения ИИ к изучению его внутренних вычислительных состояний.

Но наблюдаемость внутренних процессов ещё не равна объяснимости в полном смысле. Даже если исследователь видит, какие нейронные компоненты участвовали в формировании ответа, это не всегда отвечает на главный вопрос: почему именно этот ответ считается обоснованным, на каких знаниях он основан и насколько эти знания соответствуют реальности.

Например, если модель утверждает, что Париж — столица Франции, полезно знать не только, какие внутренние механизмы активировались. Не менее важно установить, из какого источника получено это знание, как оно связано с проверяемыми географическими данными, какие понятия и отношения используются в утверждении и можно ли подтвердить его в надёжной внешней системе знаний.

Именно поэтому авторы предлагают дополнить «внутренний» подход к интерпретируемости информационно-онтологическим. В центре внимания должны быть не только параметры и активации модели, но и структура информации, с которой она работает: происхождение данных, понятия, связи между объектами, правила вывода, путь прохождения информации и связь ответа с внешними источниками знаний.

В таком подходе важную роль играет онтологическая инженерия — практика построения формальных моделей предметной области. Онтология описывает, какие сущности существуют в конкретной области, какими свойствами они обладают, как связаны друг с другом и какие ограничения действуют. Для ИИ она может стать «семантическим каркасом», на который опираются поиск, рассуждение и проверка ответа.

Большие языковые модели способны ускорить создание таких онтологий: извлекать понятия из текстов, предлагать связи между ними, выявлять иерархии, синонимы и свойства. Но обратное влияние не менее важно.

Онтология может дать модели проверяемую структуру знаний, ограничить противоречивые выводы и обеспечить трассируемость: ответ можно связать с конкретными понятиями, отношениями и правилами, а не только с непрозрачной внутренней активностью сети.

Это не означает, что исследование внутренних механизмов моделей нужно прекратить. Напротив, методы вроде анализа J-Space могут быть полезны для диагностики, контроля и оценки рисков. Однако их следует рассматривать как один из слоёв объяснимости, а не как окончательное решение проблемы «чёрного ящика».

Будущее объяснимого ИИ, вероятно, лежит в сочетании двух направлений. Первое — изучать, как модель обрабатывает информацию внутри. Второе — делать её решения проверяемыми во внешнем мире: связывать ответы с источниками, формальными понятиями, правилами, ограничениями и последствиями. Тогда целью станет не абсолютная прозрачность каждого параметра нейросети, а более практичная и достижимая задача: сделать действия ИИ понятными, прослеживаемыми и подотчётными.