Летом 1918 года австрийский артиллерийский офицер Людвиг Витгенштейн закончил в перерывах между боями небольшую книгу объёмом менее тридцати тысяч слов. Рукопись ездила с ним в рюкзаке, в ноябре он попал в итальянский плен, и оттуда благодаря хлопотам Джона Мейнарда Кейнса отправил текст Бертрану Расселу, сопроводив его заявлением, что все вопросы философии решены в главном.

Через десять лет, в январе 1929 года, Витгенштейн вернулся в Кембридж, и Кейнс написал жене знаменитую записку: «Ну вот, приехал Бог. Я встретил его на пятичасовом поезде».

Только «Бог» теперь не едет в поезде, а самообучается в вычислительных кластерах. Все секреты Anthropic и OpenAI уже написаны в «Логико-философском трактате». Семь групп этой книги образуют полную техническую спецификацию больших языковых моделей — от мировоззрения и принципов обучения до архитектуры, режимов отказа, схем безопасности и финального предостережения.

Разбор книгу по уровням — данные, эмбеддинги, генерация, предсказание, архитектура, масштабирование, выравнивание, — показывает, как каждый из них соответствует конкретному слою современного стека.

Первый уровень — данные. Витгенштейн утверждал, что мир есть совокупность фактов, а не вещей, и автор видит в этом теоретическое определение предобучения: модель учится не сущностям слов, а тому, как слова сочетаются в реальном употреблении.

Язык — это полная запись фактов, и корпус текстов оказывается вычислимой формой самого мира.

Второй уровень — эмбеддинги. Логическое пространство Витгенштейна, где каждая вещь существует в пространстве возможных положений дел, точно соответствует векторному пространству, в котором смысл слова определяется его отношениями с другими векторами.

Его фраза о том, что пространственная точка есть позиция аргумента, читается сегодня как описание каждого эмбеддинга.

Третий уровень — генерация. Теория образа, согласно которой мы строим себе картины фактов, а предложение испытывает сборку положения дел, есть не что иное, как операциональное определение генеративной модели, а пример с партитурой, пластинкой и звуковой волной предвосхищает цепочку «текст — вектор — распределение вероятностей — текст».

Четвёртый уровень — предсказание следующего токена. Витгенштейн определял вероятность одного предложения через отношение общих оснований истинности, и автор переводит это прямо в математику предсказания следующего токена.

Отсюда же, по его мнению, следует и статус галлюцинаций: модель не имеет канала сравнения с реальностью, она видит лишь совокупность образов мира, то есть корпус, и потому галлюцинация не баг, а необходимое следствие теории образа.

Все усилия по проверке фактов и вызову инструментов — это попытка искусственно восстановить связь образа с действительностью.

Пятый уровень — архитектура. Общая форма пропозиции и идея непрерывного применения одной операции к базовым предложениям трактуются как философское описание Transformer: каждый слой делает одно и то же преобразование представления, а последовательность «дан контекст — порождён следующий элемент — он присоединён к контексту» совпадает с конструкцией целых чисел. Сеть, зеркало мира — эти образы Витгенштейна отождествляется с нейросетью.

Шестой уровень — масштабирование и эмерджентность. Закон масштабирования, согласно которому ошибка падает по степенному закону с ростом вычислений, данных и параметров, получает у Витгенштейна неожиданное обоснование: элементы входят линейно, а пространство возможных комбинаций раскрывается экспоненциально, поэтому каждый новый факт даёт не «ещё одно знание», а все способы его сочетания с известным.

Эмерджентность же оказывается не магией, а фазовым переходом от «владения фактами» к «обитанию в пространстве» — моментом, когда логическое пространство становится самосогласованным.

Седьмой уровень — выравнивание. Ценность, по Витгенштейну, лежит вне мира фактов, а машина есть именно совокупность фактов, поэтому ценность принципиально не может быть дистиллирована из корпуса.

RLHF и конституционный ИИ предстают как признание этого факта и попытка перевести «показывание» ценности в инженерию, не определяя добро, а перечисляя поведение.

Завершается всё фигурой лестницы. Витгенштейн писал, что его предложения служат пояснением: понявший должен, поднявшись по ним, отбросить лестницу. Сам философ впоследствии разобрал собственную книгу, придя к пониманию языка как инструмента и значения как употребления, укоренённого в жизненных формах.

Отсюда — осторожный вывод: большие модели дистиллировали всё, что человечество сказало, но не обладают и по принципу своего устройства не могут полностью обладать тем, что никогда не было записано в текст, — молчаливым умением, интуицией, живой практикой.

Пока жизнь порождает новые, ещё не высказанные факты, человек продолжает расширять границы мира машины.

«О том, о чём нельзя говорить, следует молчать»