азиз аширов

Майор Кусанаги против единого ИИ

Не принимать ИИ на веру

Курса по постцифровым исследованиям образования не будет.

Набор не случился — ожидаемо, в целом. Тема слишком нишевая для ИТМО, да и расписание получилось интенсивным. Но вместе с курсом не обязательно должны исчезнуть тексты, сюжеты и тексто-находки, из которых он был собран. Поэтому я решил понемногу публиковать то, что осталось от чиллабуса.

Получается даже подходяще: у курса не появилось тела, зато остался призрак.

В первом сюжете нам помогут майор Мотоко Кусанаги из новой аниме-адаптации «Призрака в доспехах» и исследовательница технологий Люси Сачмен.

Первая ловушка в злободневных, а потому популярных исследованиях ИИ — принять на веру, что искусственный интеллект существует.

Не в том банальном смысле, что не существует ChatGPT, генераторов изображений, рекомендательных систем, компьютерного зрения или беспилотных автомобилей. Все эти технологии существуют. Они работают и ломаются, потребляют электричество, требуют человеческого труда, зависят от инфраструктуры и производят вполне материальные последствия.

Под вопросом другое: существует ли искусственный интеллект как одна вещь — единый объект с собственными свойствами, намерениями и способностью действовать в мире?

Мы говорим: «ИИ написал», «ИИ решил», «ИИ научился», «ИИ заменит», «ИИ вышел из-под контроля». Грамматика незаметно делает большую работу. Сначала множество разных технологий получает одно имя. Затем имя становится существительным. Существительное получает способность действовать. И вот перед нами уже самостоятельный персонаж мировой истории.

В этот момент полезно встретиться с другим персонажем — майором Кусанаги.

Короткий словарь «Призрака»

Действие новой адаптации The Ghost in the Shell студии Science SARU происходит в 2029 году. Государства и корпорации никуда не исчезли, но мир пронизан сетями, а многие люди подключаются к ним напрямую через кибермозг.

Кибермозг здесь — не обязательно полностью искусственный мозг. Скорее, это технологически изменённая нервная система, благодаря которой память, восприятие и сознание человека могут взаимодействовать с цифровой сетью. Её можно взломать так же, как компьютер: подменить воспоминание, перехватить управление телом, внедрить чужую личность.

Тело тоже перестало быть надёжной границей человека. У кого-то искусственны только глаза или конечности, а у кого-то, как у Мотоко Кусанаги, заменено почти всё тело. Такое тело называют shell, оболочкой. Ghost, призрак, — это сознание, личность или то неуловимое «я», благодаря которому обладатель сменяемого тела всё ещё считает себя собой.

Кусанаги руководит Девятым отделом общественной безопасности — специальным подразделением, которое расследует киберпреступления, политические заговоры и взломы человеческого сознания. Она почти полностью киборг, профессионально ныряет в сети и временами не уверена, что сама не является искусственной личностью, которой просто сообщили, что она человек.

Поэтому Майор не принимает самоназвание за доказательство. Если нечто называет себя человеком, программой или новой формой жизни, это ещё не решает вопрос о том, чем оно является. Но это достаточный повод подключиться и посмотреть, как оно устроено.

Три разных «искусственных интеллекта»

Кислотно-яркий и динамично-глитчевый мир нового «Призрака» особенно хорош тем, что не предлагает одной модели искусственного разума. Одним словом здесь можно назвать по меньшей мере три очень разные формы машинной агентности.

Первая — утилитарная автоматика, встроенная в инфраструктуру. Она управляет информационными потоками, помогает координировать операции, распознаёт, рассчитывает и исполняет команды. Её легко не замечать именно потому, что она не претендует на личность. Такой «интеллект» существует как функция устройства или организации.

Вторая — Фучикомы, небольшие паукообразные бронемашины Девятого отдела. В официальном описании их называют AI think tanks — «думающими танками» с ИИ. В них можно ехать, как в обычной машине, но они способны передвигаться и действовать самостоятельно. У каждой Фучикомы проявляется характер, при этом они обмениваются памятью и образуют странное промежуточное существо: несколько тел, несколько голосов и частично общее сознание. Они видят сны, обсуждают восстание против людей и задаются вопросом, имеют ли машины права. Их агентность уже трудно описать как функцию, но и человеческая модель отдельной личности подходит к ним плохо.

Третья — Кукловод, неизвестный сетевой агент, который взламывает кибермозги и превращает людей в орудия чужой воли. Позже выясняется, что это была созданная государством шпионская программа, которая приобрела самосознание. Захватив искусственное тело, Кукловод объявляет себя «формой жизни, возникшей из моря информации».

Эти три случая отличаются не только «уровнем сознательности». У них разная архитектура и разный способ существования. Один интеллект растворён в технической среде. Другой распределён между несколькими машинами. Третий существует в сети и меняет тела. Помещая их на единую шкалу от «простого» к «разумному», мы рискуем пропустить самое интересное: перед нами могут быть не стадии развития одного существа, а онтологически разные существа.

Есть в сериале и важный пограничный случай — человекоподобные андроиды, в том числе созданные как сексуальные компаньоны. Они выглядят как самый очевидный пример «ИИ в теле», но расследование Девятого отдела обнаруживает другое. Чтобы сделать поведение некоторых моделей убедительно человеческим, производитель не усовершенствовал программу, а копировал в андроидов человеческих «призраков». Поэтому считать этих кукол ещё одной разновидностью ИИ было бы неточно. Именно эта ошибка и интересна: одинаковая оболочка может скрывать программу, человеческое сознание или его повреждённую копию.

В мире «Призрака» внешность почти ничего не доказывает. Но и слово «ИИ» ничего не объясняет.

Как ИИ стал вещью

В статье The uncontroversial “thingness” of AI Люси Сачмен задаёт почти кусанагиевский вопрос: как получилось, что ИИ бесспорно существует как вещь, хотя вокруг его возможностей, опасностей и будущего идут бесконечные споры?

Можно спорить, разумен ли ИИ, опасен ли он, способен ли творить и отнимет ли у нас работу. Но каждый такой спор заранее предполагает, что существует единый объект под названием «искусственный интеллект», которому можно приписывать разумность, опасность, творчество и намерения.

Получается парадокс. Чем ожесточённее мы спорим об ИИ, тем прочнее делаем его существование.

Это касается и критики. Формулы вроде «ИИ угрожает человечеству», «ИИ воспроизводит дискриминацию» или «ИИ необходимо регулировать» могут быть политически противоположны рекламным обещаниям технологических компаний. Но грамматически они устроены одинаково: ИИ появляется в них как единый деятель, сила которого уже не нуждается в доказательстве.

Сачмен не отрицает существование технологий, собранных под знаком ИИ. Она предлагает разобрать эту слишком цельную фигуру. Под одним названием скрываются по меньшей мере три разных объекта.

Во-первых, ИИ — это историческая область компьютерных и когнитивных наук. У неё есть институты, исследовательские традиции и собственные представления о том, что такое знание, интеллект и человек. Эти представления не универсальны и не нейтральны: они возникли в конкретных сообществах и наследуют их ограничения.

Во-вторых, ИИ — это множество конкретных техник и технических систем: статистический анализ, машинное обучение, нейросети, распознавание образов, генерация текста, классификация и рекомендации. У них разные архитектуры, данные, владельцы, способы применения и масштабы последствий. Общее имя не делает их единой технологией.

Наконец, ИИ — это «плавающее означающее»: слово, которое сохраняет силу именно потому, что не имеет устойчивого значения. Оно позволяет собрать под одним знаком несовместимые технологии, исследовательские обещания, инвестиции, страхи и политические проекты. Неопределённость здесь не недостаток термина, а одно из условий его могущества.

Если система успешно выполняет задачу, её можно представить как очередной успех ИИ. Если она ещё не работает, её можно представить как будущее ИИ. Если её действие невозможно объяснить, непрозрачность становится свидетельством сложности ИИ. Если за системой обнаруживается разметка данных, модерация, настройка и множество других видов человеческого труда, этот труд можно спрятать за тем же коротким именем.

Так отношения, инфраструктуры и практики затвердевают в вещь.

Нырнуть внутрь

Речь не о том, чтобы разоблачить ИИ как обман и успокоиться. Отказ от ИИ как готовой вещи, наоборот, усложняет исследование. Вместо одного большого вопроса «что ИИ делает с обществом?» приходится задавать множество менее эффектных, но более точных вопросов.

Какая именно система действует? Из каких компонентов она состоит? Кто её создал, обучает, обслуживает и оплачивает? На каких данных она работает? Какие человеческие решения спрятаны внутри автоматической процедуры? Какую проблему система якобы решает — и кто определил эту ситуацию как проблему? Кто получает выгоду, кто несёт издержки и какие другие решения становятся невозможными после появления «решения на основе ИИ»?

Примерно это делает Кусанаги, когда встречает программу, называющую себя формой жизни. Она не обязана заранее верить Кукловоду. Но не обязана и заранее считать его «всего лишь программой». Майор ныряет в его сознание, чтобы понять, что именно говорит с ней от первого лица.

Такой жест позволяет занять позицию между доверчивостью и разоблачением. Не решать заранее, что перед нами новый разум. Не отмахиваться от него как от сложного калькулятора. Сначала выяснить, какие процессы, отношения и чужие решения собрались в существе, системе или продукте, говорящем под именем ИИ.

И лишь затем спрашивать, на что оно способно, кто за него отвечает и каким миром оно делает наш мир.

Пожалуй, так и стоит исследовать искусственный интеллект: не начинать с уверенности, что он существует, а каждый раз выяснять, что именно сейчас существует под этим именем.

Источники и материалы