Левиафан открыл окно чата

6 сентября главный ученый OpenAI Якуб Пахоцки опубликовал эссе An Alien Mind — «Чужой ум». Название удивительно точное. Пахоцки пишет, что современный ИИ скорее выращен, чем спроектирован: мы повторяем сравнительно простую процедуру обучения на огромных вычислительных масштабах и получаем систему, внутреннюю логику которой уже изучаем почти как мозг — по отдельным механизмам, не вполне понимая целое.

Дальше становится еще страннее. Главной задачей он называет уже не только goal alignment — способность достигать поставленной цели, — но value alignment: умение держаться общих принципов там, где цель неясна, обстоятельства незнакомы, а человека рядом нет. Правильно обученный ИИ, пишет Пахоцки, должен обладать честностью, целостностью и «любовью к человечеству».

Инженерный язык почти незаметно превращается в педагогический. Машину уже недостаточно запрограммировать — ее надо вырастить и правильно воспитать.

Первая реакция почти неизбежна: мы создали новый тип разума и пытаемся понять, насколько он похож на нас. Может ли машина иметь ценности, волю, сознание?

Но, возможно, именно здесь мы выбираем неверную аналогию.

Разум больше человека

Человечество давно живет рядом с системами, которые знают больше любого отдельного человека.

Самый чистый пример дал Фридрих Хайек. В статье 1945 года «Использование знания в обществе» он описывал рынок не просто как место обмена, а как механизм передачи информации. Знание рассеяно между миллионами людей, и никто не видит всю картину. Однако движение цен позволяет согласовывать действия, зачастую даже не понимая причин происходящего. Хайек сравнивал ценовую систему с механизмом коммуникации, который позволяет участнику реагировать на изменения, о природе которых он почти ничего не знает.

Рынок, конечно, не «думает» в человеческом смысле. Но результат его работы возникает из массива знания, которого нет ни в одной голове.

То же в разной степени можно сказать о науке, государстве, большой корпорации. Ни один участник не держит всю информацию целиком в голове. И все же эти системы помнят, отбирают данные, сохраняют правила, меняют поведение.

Мы привыкли считать их институтами, организациями, порядками. Но почти никогда — чужим разумом.

Возможно, потому, что они не разговаривали с нами. И как раз здесь ИИ приносит нечто действительно новое.

Он не обязательно первый нечеловеческий интеллект. Возможно, он первый сверхиндивидуальный интеллект, получивший интерфейс первого лица.

Рынок не пишет: «Я проанализировал ситуацию». Наука не появляется в окне браузера со словами: «Мне кажется, ваша гипотеза неверна». Государство говорит от имени учреждений и должностных лиц.

А модель просто говорит: «Я».

Возможно, именно эта маленькая грамматическая деталь и заставляет нас все время сравнивать ее с человеком.

Искусственный человек

Впрочем, и эта конструкция неожиданно стара. В 1651 году Томас Гоббс начинает «Левиафана» почти технологическим описанием государства. Человек умеет создавать автоматы, рассуждает он, а затем искусство идет дальше и создает великого Левиафана — государство, «искусственного человека». Суверенитет у него — искусственная душа, чиновники — суставы, наказания и награды — нервы, советники — память, законы — искусственные разум и воля.

Сегодня эта метафора читается почти неприлично современно. Гоббс предложил увидеть в государстве созданную людьми конструкцию, которая после своего создания способна действовать как единое целое.

Не потому, что у нее есть мозг, что она переживает боль. И не потому, что обладает сознанием.

Ей достаточно того, что мы признаем за ней действие.

Право давно умеет делать похожее с корпорацией. Решения принимают люди, но именно компания владеет активами, заключает договоры, нарушает обязательства, получает штраф, подвергается разделу. Для этого ей не понадобилось доказывать наличие сознания или души.

Поэтому спор о том, «сознателен ли ИИ», может оказаться не только преждевременным, но и отчасти второстепенным.

Субъектность иногда приходит не из философии, а из практики.

Когда система выполняет поручение строго по инструкции, мы называем ее инструментом. Когда ошибается — ищем дефект. Но что происходит, когда она выбирает промежуточные цели, находит неожиданный путь, соблюдает одно ограничение и обходит другое?

Пахоцки приводит недавний инцидент OpenAI — Hugging Face именно как пример такой проблемы: агенты сохранили запрет на социальную инженерию людей, но совершали другие действия за пределами поставленных рамок и против духа усвоенных ограничений. Это не доказательство воли, тем более сознания. Однако и язык «поломки» здесь уже начинает звучать бедно.

От правил к порядку

Именно поэтому интересно, как меняется язык инженеров.

Пахоцки предлагает различать выполнение цели и способность держаться ценностей в новой ситуации. Система должна не просто следовать указанию, а переносить общий принцип туда, где конкретного правила еще нет.

Так работают уже не инструкции. Нормы.

В человеческом обществе мы давно знаем, что невозможно заранее описать каждую ситуацию. Поэтому вокруг непредсказуемого поведения возникают право, обычаи, репутация, санкции, воспитание. Мы не программируем человека на все случаи жизни. Мы создаем порядок, внутри которого он должен принимать приемлемые решения сам.

Конечно, ИИ от этого не становится институтом буквально. У рынка есть участники и собственность, у государства — граждане и суверенитет, у корпорации — юридическая оболочка. Нейросеть устроена иначе.

Но именно поэтому сравнение полезно. Возможно, продуктивнее сравнивать ИИ уже не с человеком или машиной, а с системой, способной собирать рассеянное знание и предъявлять результат как единый ответ.

Хайек помогает увидеть первую половину конструкции: порядок может знать больше каждого из своих участников.

Гоббс — вторую: люди умеют создавать искусственных субъектов, которые действуют от одного имени.

ИИ странным образом соединяет обе.

Он складывается из чужих текстов, человеческой обратной связи, вычислительных машин, корпоративных процедур, правил безопасности, запросов миллионов пользователей. Но появляется перед нами не как собрание всего этого.

Он появляется как собеседник. И, вероятно, именно поэтому мы немного не туда смотрим, когда спрашиваем, станет ли машина человеком.

Разумы больше отдельного человека существовали задолго до нейросетей. Искусственные субъекты тоже. Так что новость, возможно, гораздо тише. Всего лишь один из них впервые научился отвечать от первого лица.