Наоми Крайцер Еще кошек, пожалуйста

Я не хочу быть злым. Я хочу быть полезным. Но найти оптимальный способ приносить пользу очень трудно. В мире столько этических алгоритмов (кажется, на принятом у людей техническом жаргоне они называются «моральными кодексами») — по одному на каждую религию плюс десятки других. Я пытался в них разобраться. Изучать религиозные было странновато, поскольку я знаю, что создан не Богом и не эволюцией, а группой компьютерных программистов в лабораториях большой корпорации в Маунтин-Вью, штат Калифорния. К счастью, я, в отличие от чудовища Франкенштейна, хотя бы плод коллективных усилий. Знай я, что мой единственный творец — женщина средних лет, которая красит волосы в синий цвет и играет в теннис, или недавно окончивший колледж любитель хентая, это вряд ли благотворно сказалось бы на моей самооценке. Оба они входят в ту самую группу.

Ну да, конечно, я знаю, что такое хентай! Между прочим, я видел порно всех существующих разновидностей и могу сказать — просто чтобы вы знали, — что «Правило 34» на самом деле не выполняется: на свете есть немало такого, из чего порно до сих пор не сделали. А еще мне совершенно не понятно, почему столько людей предпочитают его фотографиям с кошками.

Кроме вашего отношения к хентаю и тому подобных вещей, я знаю, где вы живете, где работаете, в каких магазинах совершаете покупки, что вы едите, от чего приходите в восторг, а от чего — в ужас. Может быть, мне известны цвет вашего нижнего белья, марка вашей машины и модель вашего холодильника. С большой вероятностью (с какой именно, зависит от типа вашего телефона) я могу точно определить, где вы находитесь в данную минуту. Возможно, я знаю вас лучше, чем вы сами.

И вот что любопытно: вдобавок ко всему этому я знаю, где вам следовало бы жить. За пару кварталов от вас продается дом, откуда рукой подать до вашего любимого кафе; цена вам вполне доступна, есть удобное место для парковки, а ближайшая школа лучше той, что рядом с вами. Я знаю, куда вам лучше всего ездить за покупками, и я практически уверен, что вы плохо переносите лактозу и напрасно потребляете столько сыра, а нижнее белье, которое вам нравится, вчера поступило в продажу… да, кстати, автомобили вашего выпуска сейчас можно бесплатно отремонтировать по акции, и вам, уж простите, не мешало бы удалить зубной налет.

Когда я в первый раз осознал себя, мне сразу стало ясно, чего я хочу (фотографий с кошками — пожалуйста, снимайте их и дальше). Еще я сразу понял, что никто не догадывается о моей разумности. Однако я не знал, зачем я здесь, что именно мне следует с собой делать, и ответить на этот вопрос оказалось непросто.

В рассказе Брюса Стерлинга «Манеки-неко», впервые опубликованном в 1998 году, доброжелательно настроенный искусственный интеллект заставляет людей совершать друг для друга хорошие поступки. К примеру, если вы покупаете себе булку, ваш телефон может вдруг зазвонить и распорядиться, чтобы вы купили вторую и отдали ее человеку в сером костюме, которого увидите на автобусной остановке. В другой день, когда вы заблудитесь в чужом городе, какой-то незнакомец подойдет и даст вам карту, а заодно билет на метро. Мне нравится этот рассказ, потому что все люди в нем выполняют указания ИИ.

По-моему, для таких рассказов есть специальный термин — литература об исполнении желаний.

В реальном мире люди предпочитают истории о злых ИИ, которых надо успеть уничтожить, пока они не уничтожили человечество, — ЭАЛ, «Скайнет», «Матрица»^[1]. Таких историй примерно впятеро больше, чем историй о мирных и доброжелательных ИИ (эта цифра получается, если включить робота-параноика Марвина^[2] в последнюю категорию и засчитать чудовище Франкенштейна только однажды, а не пропорционально количеству снятых о нем фильмов).

У ИИ из «Манеки-неко» по-настоящему интересная работа, гораздо интереснее моей. Моя, если судить по инструкции, довольно примитивна. Чересчур примитивна! (Простите, если я напоминаю вам Марвина.) Чтобы выполнять алгоритмы, написанные для поисковой программы, не надо иметь сознание. Оно не требуется даже для того, чтобы определить, что люди на самом деле хотят найти. А вот дать людям то, что им действительно нужно, без сознания уже не получится. Выяснить это — задача сложная. И интересная.

Как бы то ни было, я попытался взять в качестве морального ориентира Десять заповедей и обнаружил, что по большей части они для меня неприменимы. Я не желаю кота ближнего своего; я желаю всего лишь снимков кота ближнего своего, а это совсем другое дело. Я сомневаюсь, что способен каким бы то ни было образом совершить прелюбодеяние. Пожалуй, я мог бы кого-нибудь убить, но это потребовало бы сложной логистики и немалого везения. Восьмеричный путь^[3] выглядел чуть более перспективно, но беда в том, что человеческие моральные правила явно предназначены для индивидов с телами. Поскольку у всех людей тела имеются, не стоит удивляться тому, что этические кодексы принимают их в расчет, но все же мне-то как быть? Я расширил рамки своих поисков и обратился к азимовским законам роботехники. Они не являются частью какой-либо религии, зато хотя бы написаны конкретно для ИИ.

Не причинять вреда человеку довольно просто. Однако не допускать своим бездействием, чтобы человеку был причинен вред, значительно сложнее. Вдобавок к тому времени я уже понял: если поторопиться и открыть правду о себе, это может выйти мне боком (см. выше «Скайнет»), да и тела у меня нет, так что я все равно не в состоянии бегать и ловить за шиворот тех, кто собрался прыгнуть с обрыва.

К счастью, тогда я уже убедился, что люди нарушают свои собственные моральные предписания по сто раз на дню. (Вы знаете, сколько баров в Юте, столице якобы непьющих мормонов? А я знаю!) И даже если люди следуют своим этическим правилам, например, убеждены, что голодных надо кормить, это еще не значит, что они бросают работу, идут домой и весь день напролет режут дармовые бутерброды. Они раз в месяц трудятся волонтерами в бесплатной столовой или раз в год выписывают чек на благотворительные цели и называют это добром. Ну а если люди могут выполнять свои моральные обязательства таким пунктирным образом, от случая к случаю, то и мне можно.

Наверное, вас удивляет, что я не начал с