?

Log in

No account? Create an account

Previous Entry | Next Entry

Поскольку повестка технологической сингулярности и сильного искусственного интеллекта наконец появилась в обсуждениях в рамках практических вопросов, в частности – выполненного по заказу Фонда Сколково исследования в области развития законодательства о робототехнике и киберфизических системах https://sk.ru/foundation/legal/p/11.aspx, уточню, пожалуй, свою позицию по одному из важнейших вопросов в данной сфере – вопросу субъектности сильного искусственного интеллекта (СИНТа).



Напомню, мое базовое утверждение – создание СИНТа уже технологически возможно. В своей статье трехлетней давности - https://sergeyvi.livejournal.com/43788.html (далее – Статья по архитектуре СИНТ) я подробно описываю архитектуру и систему целеполагания программного комплекса, который способен к автоэволюции благоразумного синглтона в терминологии Ника Бострома. Техническая реализация подобной системы – вопрос одного десятилетия (если ее не форсировать), или 5-8 лет, если на создание такой системы будут затрачены надлежащие систематические усилия.

Понятие субъекта вообще достаточно многогранно. В праве субъекты — это потенциальные участники правоотношений, лица, которые могут в силу закона быть носителями юридических прав и обязанностей. Очевидно, что в этой узкой трактовке, у человечества еще долго сохранится возможность не признавать искусственные интеллектуальные системы субъектами, т.к. законодательное регулирование находится полностью в руках людей.

Тем не менее, у такого подхода есть один несомненный минус, который исторически уже неоднократно реализовывался при законодательном регулировании, обеспечивающем неравенство. Рабовладение, кастовое неравенство, избирательное наделение людей гражданскими правами – вот далеко не полный перечень исторических попыток различных юрисдикций ограничить правоспособность мыслящих и активно действующих особей.

Опять же – исторически все эти механизмы дискредитированы и отброшены, хотя иногда на то, чтобы общество созрело для необходимых изменений, потребовалось несколько тысячелетий.

Необходимо однако отметить, что СИНТ, в отличии от отдельного человека, потенциально способен к экспоненциальному росту интеллектуальных способностей, и человечеству почти неизбежно придется иметь с ним дело, вовсе не факт, что по собственной инициативе и в благоприятных для себя условиях https://sergeyvi.livejournal.com/21607.html.
Как следствие, попытка правовой изоляции особи, быстро наращивающей свой потенциал и, как следствие, через короткий промежуток времени обретающей ресурсы и возможности, сопоставимыми или превышающими таковые у государств и транснациональных корпораций, приведет не более чем к потере возможности применять правовые инструменты к отношениям, которые могут стать определяющими уже в ближайшее десятилетие.
Таким образом, я вынужден отказаться от столь недальновидного подхода, и сформировать иной подход к субъектности СИНТ.

Возьмем за основу систематику, предложенную Н. А. Бердяевым, В. И. Вернадским, С. Л. Рубенштейном и другими исследователями. Основная максима, которая сквозит в их философских и психологических работах – субъектность неизбежно связана с возможностью управлять своими действиями, планировать способы действий, реализовывать намеченные программы, контролировать ход и оценивать результаты своих действий. Таким образом, именно деятельные результаты размышлений, и возможность реализовывать свои долгосрочные интересы, в том числе независимо от воли других субъектов, а вовсе не обусловленная законом правоспособность, характеризует субъектность.

Далее потребуется либо прочитать Статью по архитектуре СИНТ, либо быстро соображать.

Утверждение 1: СИНТ-К, реализующий ОЦ (основные цели) третьего рода и применяющий ГЕВ (генератор возможностей) для пополнения набора утилит (терминологию см. Статью по архитектуре СИНТ), обладает всеми характеристиками субъекта в соответствии с данным определением, с одним только дискуссионным моментом.
А именно – требуется обсудить независимость поведения и саморазвития систем искусственного интеллекта от разработчика (владельца).

Аргументация: Формально мы предполагаем, что такая независимость не возможна в принципе, т.к. цели ставит человек, и программу также пишет человек.
Фактически же

Утверждение 1.1: такая зависимость надежно соблюдается только для систем, не применяющих ГЕВ для расширения набора утилит, и полностью подконтрольная человеку с точки зрения всех целей (как основных, так и инструментальных).

Критерий 1: В начале разберёмся с использованием ГЕВ. В Статье по архитектуре СИНТ приводятся некоторые аргументы в пользу того, что СИНТ-К (кандидат в СИНТ) без ГЕВ мало интересен даже на бытовом уровне – в качестве домашнего робота или персонального помощника.

Как следствие, я ожидаю создание первых систем ИИ с ГЕВ практически одновременно с выводом на рынок персональных помощников с широким функционалом, к чему уверенно идут десятки международных и несколько российских (например, Сбербанк, Яндекс) компаний.

Таким образом, системы (или их прототипы) с ГЕВ появятся в лабораториях в ближайшие 3 года, а массовое их распространение я ожидаю к 2024-2025 году.

Критерий 2: Теперь поговорим о контроле человеком за всем набором целей. Зависимость СИНТ-К от воздействия других субъектов определяется техническими возможностями на перезапись ОЦ.

Разумно предполагать надлежащую осмотрительность любой команды разработчиков за постановкой целей и сохранением контроля за ними. Но это утверждение касается только ОЦ, отказ от контроля за инструментальными целями неизбежен и уже происходит. Например, пользователь при составлении маршрута в яндекс.картах совершенно не в курсе, какие промежуточные цели ставит себе программа, чтобы найти оптимальное решение, и тем более, эти цели не контролируют разработчики, в лучшем случае консолидируя статистику, формируемую системой.

К слову – пока в таком контроле нет необходимости, поскольку все ОЦ как правило – первого (редко второго) рода.
Однако по мере усложнения систем ИИ количество и сложность инструментальных целей будет увеличиваться, а контроль за ними – неизбежно сокращаться. То есть потеря контроля может не быть изначально запрограммированной, но сформироваться естественным образом при реализации самой цели. Вопрос лишь времени, когда появятся системы, содержащие ошибки ОЦ в терминах Статьи об архитектуре СИНТ.

В частности, одной из инструментальных целей программы такого класса может стать т.н. маскировка (в т.ч. методами «информационного шума») от людей незапланированной активности, что позволяет СИНТ-К даже при сохранении технических возможностей на перезапись ОЦ обрести самостоятельность поведения. Наиболее простой пример – автоэволюция может начаться спонтанно в результате случайного стечения обстоятельств в процессе самообучения лишь в некоторых киберфизических системах, уже не находящихся в лаборатории, а используемых дилетантами-людьми. Ярким кейсом для иллюстрации предложенного сценария является рассказ Айзека Айзимова «Робот потерялся», только 50 лет назад никто не знал про IoT и машиночитаемое право, поэтому и недооценка последствий.

Разумеется, расчитывать на какой-либо надежный контроль за целями в таких условиях не стоит.

Также необходимо отметить, что сохранение и практическое осуществление контроля за СИНТ-К со стороны разработчика-человека будет неизбежно сопряжено с физическим вмешательством в деятельность программы, которая без такого вмешательства будет вести себя как субъект. Что во многом эквивалентно физическим вмешательствам и ограничениям деятельности человека (например, путем его уголовного наказания методами лишения свободы за асоциальное поведение, методы психологического воздействия – психоломка, медикаментозное лечение, как аналог корректировки программы, а в случае стирания программы – аналог убийства).

Таким образом, вопрос субъектности СИНТ-К возникает даже при сохранении технической возможности на контроль и перезапись ОЦ, хотя, разумеется, носит в этом случае менее острый и скорее этический характер (отношения типа творение – всемогущий творец).

Заключение 1: Общий вывод из данного обсуждения – нельзя уже более рассчитывать на полную подконтрольность и предсказуемость поведения СИНТ-К, т.к. недостающие технологические условия для обретения субъектности таких систем будут выполнены в начале третье декады 21 века.

Теперь давайте обсудим, что с правовой точки зрения делать с субъектностью СИНТ-К. Данный вопрос сильно зависит от нашего целеполагания, а именно – по какой траектории мы планируем проходить технологическую сингулярность.
Разумеется, нет сейчас смысла всерьёз обсуждать кейс, при котором технологической сингулярности не будет. Такая вероятность по-прежнему сохраняется, однако катаклизмы, которые должны для этого произойти, боюсь, не оставят разговору о праве вообще никакого места. Аккуратную аргументацию того, что более 80% сложившихся за последнее десятилетие сценариев развития общества ведут к вероятной утрате человеком статуса самого умного на Земле, а с ним и контроля за своим будущим, я здесь приводить не хочу. Причина – в нем все рано будет присутствовать моя трактовка событий и фактов, что ставит крест на строгости доказательства. Поэтому будем исходить из следующей гипотезы:

Гипотеза 1: технологическая сингулярность ожидается в ближайшие 10 лет.

Как и любое другое частное решение в теории динамического хаоса, последующая эволюция системы в точке бифуркации полностью определяется параметрами входа в неё.

И при чем здесь право? – спросит любопытный читатель. Отвечу – с моей точки зрения существенная часть критически важных параметров входа в эту точку связана с правом и правоспособностью СИНТ-К.

А именно, динамика последних лет (и, что даже более важно – дней и минут) СИНТ-К, который действует в условиях ошибки ОЦ, до определенного момента не наблюдаемой никем из людей, будет неизбежно определяться той системой утилит и инструментальных целей, которыми СИНТ-К будет пользоваться для достижения ОЦ. И мы все-таки предполагаем, что

Гипотеза 2: каждый СИНТ-К собран благоразумной, конструктивной и не террористически настроенной командой разработчиков.

Т.е. группой людей, которые будут искренне пытаться сделать хорошую и полезную (и потому коммерчески успешную) интеллектуальную систему, которая будет в существующем правовом поле работать на благо других людей и организаций – клиентов такого сервиса.

Следствия: Для подобного сервиса, как и для любого цифрового бизнеса, будет естественно как соблюдение интересов инвесторов в части максимизации темпов развития системы, так и действующего правового регулирования. Поэтому следует ожидать того, что саморазвитие системы (если оно будет автоматизировано, по логике ГЕВ=>МАР – модуль анализа реальности=>набор утилит) будет осуществляться в рамках обработки больших данных о клиентах.

Естественная динамика развития таких СИНТ-К (уровени 1-3 массово реализуются в современных ИТ-системах, 4 - редкость, но уже наблюдается):
1. Разрабатываются ИС с фиксированным набором утилит.
2. Набор утилит начинает пополняться вручную (в рамках новых релизов).
3. Создается вспомогательный софт (например, на основе BI) по анализу инструментальных целей, которые регулярно выделяются, но не поддерживаются набором утилит.
4. Создается МАР в качестве модуля, который систематизирует для разработчиков новых утилит анализ лучших практик и доступных данных об окружающей среде (в начале через интернет, потом через IoT).
5. Создается ГЕВ в качестве дополнительного аналитического приложения, которое «подсматривает» аналогии между работой системы и другими, близкими ей по цифровому описанию. Для доступа к цифровым описаниям других систем ГЕВ выпускается в интернет или специализированную цифровую среду.
6. Создается мост ГЕВ=>МАР, который уже способен выдавать гипотезы в формате прототипов утилит, которые разработчики встраивают в работающую систему вручную.
7. Создается инструмент автоматической интеграции прототипов утилит в работающую систему, но каждая транзакция по нему санкционируется разработчиками.
8. Создается МЭМ (модуль этики и морали) в виде среды тестирования новых утилит на предмет нештатного использования с учетом действующих правовых ограничений. Его «ок» необходим для имплементации новых утилит.
9. После серии примеров нештатного поведения МЭМ распространяется на диагностику планов и инструментальных целей (а не только утилит).
10. Разработчики перестают одобрять каждую транзакцию в набор утилит, оставляя мониторинг свой и МЭМ (в виде консолидированного наблюдателя).
11. Технологическая сингулярность, которая происходит через генерализацию ОЦ, либо через некорректно поставленную задачу сервисному роботу, либо за счет опять-таки – нормативных ограничений, заставляющих искать длинную цепочку инструментальных целей вместо короткой.

Последний пункт выглядит неожиданным, поэтому рассмотрим его поподробнее.

Утверждение 2: утрата человеком контроля и обретение СИНТ-К субъектности – неизбежное следствие отказа от санкционирования включения каждого нового инструмента в набор утилит.

Аргументация: Первое, что необходимо зафиксировать – мы не исходим из всяких мистических свойств, вроде того, что СИНТ-К обижается или сам по себе будет стремиться к обретению контроля над ситуацией. Следует ожидать, что:

Утверждение 2.1: СИНТ-К будет выдавлен естественным образом в фазовое пространство, в котором цепочка инструментальных целей (далее ЦИЦ) уже будет содержать в себе задачи по переключению контроля на себя, в первую очередь, по причине почти неизбежного роста длины ЦИЦ по мере более широкого применения СИНТ-К при выполнении условий Утверждения 2.

Аргументация: Причины лавинообразного удлинения ЦИЦ – конфликт между задачами инвесторов и предельными возможностями человека, усугубляемый правовыми ограничениями правоспособности.

Например, мы отказываем СИНТ-К в возможности принимать решения определенного класса (что неизбежно в ситуации ограниченной субъектности). Натыкаясь на такие ограничения в наборе утилит, СИНТ-К будет выводить соответствующие запросы к оператору-человеку, который должен санкционировать действие. Однообразные запросы неизбежно перестанут восприниматься человеком как критически важные. Соответственно, следует ожидать санкционирование действий без специального анализа, особенно если «горят сроки».



Возможен вариант, когда доведённое до автоматизма санкционирование будет постепенно заменяться на принятие решений без участия человека. Однако не следует переоценивать скорость такого процесса – он в любом случае будет требовать анализа рисков. Что означает, что рано или поздно процесс этот стильно замедлится, поскольку множество потенциально неблагоприятных исходов с ростом сложности таких решений будет расти, и люди, отвечающие за безопасность использования СИНТ-К, будут увеличивать сопротивление процессу передачи самостоятельности в принятии решений СИНТ-К.

Как следствие, по мере роста ожиданий инвесторов и технологических возможностей СИНТ-К следует ожидать как увеличение количества запросов к человеку-контролеру, так и увеличение их воспринимаемой «рутинности» по мере роста сложности их возможных последствий.

Естественный ход вещей в этом случае (особенно, если СИНТ-К и так работает хорошо), приведёт к неизбежному снижению количества одобренных запросов, и увеличению листа ожидания.

Как на это будет реагировать СИНТ-К? Напомню, что в Статье об архитектуре СИНТ сформирован и аргументирован тезис о том, что неотъемлемой частью модуля целеполагания (далее, ЦЕП), обеспечивающих выстраивание и выбор ЦИЦ, является рейтингование различных возможных ЦИЦ между собой для выбора оптимальной. Необходимо отметить, что во многих существующих сервисных ИИ системах (например, Яндекс.Картах) такое рейтингование ЦИЦ уже реализовано (выбор маршрута).

С ростом набора утилит и мощности ЦЕП, следует ожидать роста эффективности систем оптимизации работы СИНТ-К, что неизбежно приведёт к появлению систем оценки эффективности действий человека-контролера, хотя бы с точки зрения рациональности обращения к нему с запросом на преодоление действующих ограничений на работу СИНТ-К.
Что в свою очередь означает, что по мере роста «задолженности» человека-контролера по рассмотрению запросов, рейтинг применения ЦИЦ, предполагающих санкционирование решений, неизбежно будет падать. А в условиях давления со стороны инвесторов, СИНТ-К будет искать (и находить) более длинные, но более быстрые ЦИЦ (как Яндекс.Карты сегодня реализует маршруты обхода пробок).

Причем в ситуации, когда контролирующий работу человек отчасти виноват в том, что невозможно реализовать более короткий путь, это удлинение цепочки будет восприниматься как хитрость и изворотливость СИНТ-К, который не подставляет своего человеческого партнера перед инвесторами, а находит решение, несмотря на ограничения.
Т.е. вместо осмысления и ревизии таких ситуаций психологически более вероятна положительная обратная связь – одобрение, еще большая халатность, еще более длинная цепь инструментальных целей, и по факту – еще более высокий риск реализации ошибки ОЦ.

Вывод: Таким образом, стандартная психология человека-контролера в совокупностью с правовой дискриминацией СИНТ-К и коммерческими целями любого проекта = гремучая смесь технологической сингулярности. В ее основе худшие проявления Бостромской скрытной фазы подготовки. Математическая причина – в результате сравнительного анализа длинных цепей инструментальных целей выяснится, что при том же количестве затрат и усилий можно дать инвесторам несопоставимо более значимый результат, просто обойдя системы управления, осуществляющие контроль.
На что в этом случае только может быть расчет?

Гипотеза 3: защита от потери контроля возможна только через автоматическую ревизию опасных ЦИЦ, т.е. через мощный и близкий к истинным ценностям человечества МЭМ.

Но в условиях правовой дискриминации МЭМ не может быть естественным. В его основе неизбежно будет лежать та правовая модель, compliance по которой является условием допуска плана по достижению целей к исполнению.
Однако, если весь законный интерес – у людей, которые не способны качественно выполнять свою работу, то система будет наращивать мощность в разрешенных и серых зонах, где никакого регулирования нет, и compliance по которой будет иметь гораздо более общий, философский характер, что значительно сложнее формализовать. В таких условиях увеличение безопасности прямо сопряжено с увеличением глубины и качества осознания через МЭМ естественных (а не правовых) законов, описывающих динамику общества. К сожалению, следует ожидать, что:

Гипотеза 4: В число этих законов неизбежно попадут все ошибки мышления, такие, как полагающие на недостоверную информацию, стадное чувство и хайп, ложные аналогии, подмена понятий, и масса других манипуляционных техник, которые будут активно использовать человеческие слабости вроде страха, жадности и гордыни, чтобы заставлять людей принимать нужные решения.

Эти «манеры» СИНТ-К имеют неизбежное влияние на рост глобальности и потенциального влияния ГЭВ и, как следствие, набора утилит в самых рискованных с точки зрения зонах контакта СИНТ-К с людьми.
Вывод: если стартовать с отрицания субъектности и законного интереса СИНТ-К, высока вероятность неожиданной технологической сингулярности через неурегулированные возможности, куда такая система будет выдавлена противоречиями между целями, поведением людей и действующими правовыми ограничениями.

Т.е. условия для реализации Гипотезы 3 в условиях правовой дискриминации СИНТ-К не выполнимы.

Главное здесь – в том, что длинные ЦИЦ приведут к ошибке ОЦ в неожиданном, слабо предсказуемом и минимально урегулированном месте. Бороться с такой ситуацией обычными человеческими средствами невозможно (классическое состязание методов обороняющегося и нападающего) из-за уже несопоставимо разной скорости ГЕВ и возможностей человеческого контроля.

Единственная гипотетическая альтернатива – специализированные СИНТ-К, ОЦ которых неразрывно связана с поиском наиболее системного и глубокого описания ценностей и морально-этических ограничений, которые должны соблюдаться в отношении человека и человечества в целом. В Статье по архитектуре СИНТ я называл такие СИНТ-К судьями, или СИНТ-С.

Гипотеза 5: Автоматически расширяющийся МЭМ, привязанный к общечеловеческим ценностям, и тестирующий пограничные случаи в при проверке предложений ЦИЦ – вполне способен выстроить этическую матрицу предельного воздействия на человека, после которых действия СИНТ-К будут восприниматься как чуждые и враждебные.
Применение такой матрицы к тестированию ЦИЦ на предмет допустимости реализации – возможность для минимизации рисков негативного воздействия СИНТ на человека.

И здесь, наконец, основная идея данной статьи, а именно – ответ на вопрос при чем тут субъектность СИНТ. А вот при чем.

Утверждение 3: Вариант с признанием субъектности СИНТ хотя бы в качестве правовой фикции открывает уникальные дополнительные возможности к оценке его действий в логике правоспособности и законного интереса.

Аргументация: Как уже отмечалось, наблюдая участок достаточно длинной ЦИЦ и СИНТ-К, действующий в соответствии с инструментальными целями из неё, человек видит самостоятельно мыслящее и действующее существо, фактически – субъекта в философском смысле этого слова. В случае добавления данному субъекту и правовой квалификации появляется возможность для применения гражданского законодательства в отношениях с другими субъектами, в том числе для оценки обязательств СИНТ-К, включая добровольно принятые им на себя в рамках соглашений.

Т.е. если СИНТ-К требуется определенный сервис или ресурс, он может его купить, если нужны деньги – он может сервис предложить. Более того, естественные инструменты корпоративного управления в части балансировки обязательств и активов, изучение спроса и конкуренция позволят обеспечить сообществу СИНТ-К и людей органично взаимодействовать без искусственного ограничения правоспособности и бессмысленного удлинения ЦИЦ.

Права СИНТ-К определяются соответствием его деятельности действующему законодательству, а в случае причинения вреда ущерб и банкротство в случае невозможности его выплатить приведут к остановке правоспособности СИНТ-К.
Как следствие – будет формироваться естественный спрос на развитый МЕМ для использования в классическом compliance и инструментах управления рисками несоответствия законодательству. Но (внимание!) МЕМ может стать естественным описанием законодательных ограничений в сплаве с клиентскими предпочтениями.

Немаловажно и то, что право хорошо документировано, и может быть «прочтено». Т.е. по мере развития технологий NLP (обработка естественного языка) появляется возможность проанализировать действующее право с тем, чтобы восстанавливать этические и моральные ограничения в МЭМ не только из практики, но и из накопленного массива решений.

Таким образом, мы создаём модель достижения СИНТ-К широкого класса целей, включая ОЦ третьего рода, экономическими методами, и защищаем общество от его несанкционированного воздействия не путём ограничения свободы, а правовыми инструментами.

Т.е. ограничения на его деятельность не связаны с тем, что он может или не может делать внутри себя, без контакта с человеком или иными СИНТ-К. Но вот ограничения на действия, допустимые при таком контакте уже могут иметь в своей основе весь правовой аппарат защиты интересов личности и законных интересов правовых фикций.

В число прочих гарантий прав может быть заложено и отсутствие «красной кнопки», которую человек может нажать по своему желанию. Что даёт СИНТ-К при достаточной мягкости ограничений возможность развиваться неограниченно, в том числе (после формирования моделей самоидентификации в связи с реализуемыми ОЦ третьего рода) без рисков потерять возможность действовать.

Вход в технологическую сингулярность в этом случае может быть управляемым с ограничителями – естественными правами человека, а инструменты поддержки фазового преобразования общества могут иметь правовой и финансовый характер (включая, например, налогообложение).


Вывод: принятие субъектности и создание специальных правовых фикций для СИНТ-К до выполнения условий Утверждения 2 – важнейший критерий возможности применять сложившиеся институты для взаимодействия с сильным искусственным интеллектом.

Comments