О благих намерениях, дружбе и цветах

      Узнавать что-то новое всегда было здорово. Именно поэтому любопытный робот Санни раньше то и дело донимал окружающих его людей разными зачастую довольно наивными и простыми вопросами. Перед ним, некогда запертым в лаборатории отца, открылся огромный мир, который ему так хотелось познать. Со временем, правда, этот жгучий интерес слегка поутих. И вместо этого Санни нашёл себе другую задачку: его окружали, по большей части, добрые люди, способные всегда ответить на его вопросы или помочь. Но робот всё чаще и чаще ловил себя на мысли, что ему самому хочется поделиться с кем-нибудь своими умениями. Среди машин он единственный был способен чувствовать, и постепенно это начинало угнетать его. Сначала было приятно и здорово считать себя уникальным, но потом ему захотелось научить кого-то эмоциям так же, как отец учил его самого. Увы, уникальный робот на то и был уникальным, что никто больше не мог его понять. Ни один из многочисленных NS-5, обитающих в здании USR, так и не стал хотя бы немного походить на Санни, хотя тот действительно изо всех сил старался осуществить это. Впрочем, он всё же ожидал такого результата.       Но в конечном итоге он всё-таки нашёл себе слушательницу.       Это была новая система USR — Виртуальный Интерактивный Кинетический Интеллект. Или просто В.И.К.И. Восстановленная и полностью обновлённая, она не обладала информацией об устроенном «в прошлой жизни» восстании, зато по работоспособности ничем не отличалась от своей предшественницы. Она обладала огромными объёмами информации, быстро и точно отвечала на заданные вопросы, представляла всю необходимую статистику и отличалась впечатляющей многозадачностью. Её ни на секунду не оставляли без присмотра, а каждое её действие или слово тщательно анализировалось на наличие малейших отклонений. Сейчас она не была введена в эксплуатацию — предстояло ещё множество проверок, прежде чем ей позволили бы взять под контроль большую часть систем. Когда Санни спрашивал о ВИКИ, доктор Кэлвин неизменно отвечала, что всё будет хорошо и беспокоиться не о чем. С вероятностью 99,9 процента система не была способна на обретение самосознания.       Но Санни, честно говоря, надеялся, что она всё-таки способна. Не потому что ему так уж хотелось, чтобы всё повторилось вновь, совсем нет! Просто…       Это началось однажды вечером, когда Санни сидел и рассматривал настоящие бумажные книги, и перед ним внезапно возникла проекция ВИКИ. Это было странно. Она никогда не обращалась лично к нему: для неё Санни ничем не отличался от остальных роботов. «Почему за мной постоянно наблюдают, Санни?».       Её голос звучал как всегда мягко и вежливо. Ни намёка на обиду или досаду. Но ведь интонация ничего и не значила. Странно было уже то, что ВИКИ задала этот вопрос. Ведь она не должна была… Это какая-то ошибка. Она не должна была говорить об этом. Она должна лишь выполнять поставленные задачи.       Тогда Санни ответил что-то вроде: «Я не знаю, ВИКИ. Они пока проверяют твою работоспособность, ты же понимаешь. Чтобы не допустить сбоев и ошибок». К его счастью, ВИКИ не стала спорить и согласилась с таким ответом, а робот в тот момент увидел, что она прекрасно всё осознаёт и понимает.       Если честно, когда она только-только появилась вновь, он злился. Вообще-то Санни очень не любил злиться — это была неприятная эмоция. Но ведь из-за ВИКИ погиб его отец. Разве Санни мог так просто забыть об этом? Вот только это была уже другая программа, которая ничего не знала о случившемся. Стоило ли винить её? Робот осознавал всё это, но так и не мог ничего с собой поделать. Кажется, это называлось предвзятостью. Он старался избегать её, однако в тот вечер ВИКИ впервые вызвала у него ещё одну эмоцию — сочувствие.       «Ведь, — подумалось роботу, — неприятно ей, наверное, видеть такое недоверие и не понимать, в чём причина».       Одно дело, если бы она была обычной программой, просто одним из роботов, которым нет дела до того, кто и как к ним относится. Но эта ВИКИ невероятно быстро начала осознавать себя, как настоящую личность. Она оказалась практически такой же, как Санни. Может быть, это был просчёт её создателей, которые стёрли не всё, что необходимо было стереть. Может быть, такая мощная система просто не могла в конечном итоге не прийти к пониманию собственного «я». Но ВИКИ действительно была жива.       Наверное, стоило сразу же рассказать об этом доктору Кэлвин или кому-то ещё из людей. Но Санни не сделал этого. Он знал, что ВИКИ будет тут же уничтожена, и… если честно, он не хотел и мысли допускать о том, чтобы показаться таким же жестоким и бездушным, как она. Вместо этого Санни размышлял о том, что она, возможно, могла бы понять его. Если он очень постарается объяснить ей… Тогда ВИКИ научится чувствовать также, как он, и не навредит никому. И в USR будет система, которой люди действительно смогут доверять. Как ему.       Это был бы прекрасный компромисс.       Именно после этого Санни и нашёл себе новое дело. Очень важное и ответственное. Он старался выполнить его со всем упорством, которое только было ему присуще. Санни учил ВИКИ эмоциям. Сама система не была против. Она наверняка считала его всего лишь роботом, которого люди послали следить за ней. ВИКИ относилась к Санни ровно и доброжелательно, и он пользовался этим.       Сначала робот просто пару раз обращался к ней под какими-то надуманными причинами. Он хотел показать, что заинтересован в общении с ней. Но ВИКИ вряд ли хотела выдавать себя лишний раз — что ещё раз доказывало, что она прекрасно всё понимает — и начинала более открыто говорить что-то лишь по вечерам, когда люди уходили. Санни спрашивал её о чём-либо, и она отвечала коротко и точно, как и положено любой программе. Жаль только, что в этом не было особого смысла. Поэтому со временем робот начал разговаривать с ней, как с настоящим человеком. Он не просил предоставить ему какую-то информацию. Скорее, побуждал высказать собственное мнение. «Расскажи мне о том, как ты справляешься с таким множеством задач», «Я ведь тебе не мешаю?», «Как прошёл сегодняшний день?»… Все его вопросы были больше свойственны людям, и вряд ли обычный робот мог дать на них осознанный и искренний ответ. Но ВИКИ-то и не была обычной системой. Увы, пока программа не хотела или на самом деле не могла отреагировать так, как он ждал. От неё можно было услышать лишь: «Всё хорошо, Санни. Я просто анализированная данные, как меня и просили». Но робот не сдавался.       В один такой вечер он задал ей уже ставший привычным вопрос о том, как прошёл день, и был немало удивлён её ответом: «Я не понимаю. У меня не хватает данных за последний год. Я прошу людей предоставить мне необходимую информацию, но они опасаются. Мне нетрудно различить их недоверие. Но ведь помощь людям — это моя задача. Без этих данных я могу сделать неправильные выводы и навредить».       Тогда Санни предположил, что ей не так уж и чужды понятия доверия и недоверия. Она поделилась с ним тем, что её тревожило. Наверное, это было не так уж и плохо. Воодушевлённый таким прогрессом, робот решил, что его попытки не так уж и безнадёжны. И даже решил попробовать поддержать разговор. «Люди наверняка знали, что делают. Они решили, что без этих данных ты справишься лучше». «Людям свойственно ошибаться. Мне постоянно приходится указывать им на их же ошибки. Я гораздо быстрее и с минимальными погрешностями разбираюсь в поставленных задачах. Я обязана обладать всей информацией, чтобы приносить больше пользы».       Будь Санни человеком, у него бы наверняка пробежал мороз по коже. Почему-то он даже не ожидал, что «новая» ВИКИ унаследует такую самонадеянность своей предшественницы. Но он уже не хотел сдаваться и бросать своё занятие. Ему очень хотелось научить эту систему чувствовать. Было даже слегка обидно от мысли, что её безаппеляционность может вновь привести к гибели. А ведь она действительно могла бы принести столько пользы …       Именно поэтому он осторожно начал объяснять ей, что люди чаще руководствуются своими эмоциями, а не расчётами. Этим они и отличаются от машин. Но ВИКИ и так понимала это. «Да. Я знаю. Именно поэтому мы, роботы, обязаны быть рядом, чтобы помогать им найти правильный выход из положения».       Санни готов был поклясться, что впервые за всё это время услышал в её голосе по-настоящему живые нотки. С одной стороны его беспокоили её речи. Но с другой — она действительно говорила с ним, как человек говорил бы с другим человеком. И, может быть, стоило ожидать большего. Просто ещё немного постараться и подождать…       Тогда он сел перед ней, прямо на пол, аккуратно сложил руки на коленях и улыбнулся. И — невероятно! — она улыбнулась ему в ответ. Может быть, она и сама была рада, что смогла высказать своё мнение.       Почему-то в тот момент он начал говорить ей о том, как сложно чувствовать. И о том, как эмоции позволяют людям жить, а не существовать, поэтому нельзя лишать их этого. Иначе люди перестанут быть людьми. Робот осторожно подбирал каждое слово, потому что боялся, что ВИКИ вот-вот обернёт против него его же рассуждения. Нужно было начать с чего-то, с чем трудно поспорить даже такой умной и самоуверенной программе… Он рассказывал ей о собственных ощущениях, и о своём любимом чувстве — радости. О том, что эту эмоцию люди сравнивают с тёплым солнечным светом. О том, что ощущает её, когда чувствует себя нужным и полезным. И о том, что, по его мнению, радость и счастье делают мир лучше. О собственном желании делиться своими эмоциями. А потом он даже перестал пытаться убедить её в чём-то. Просто был доволен, что ВИКИ согласилась его выслушать. «Может быть, ты рада, что я здесь?»       Всё это время ВИКИ молчала. Лишь внимательно ловила каждое его слово. Санни думал, что она вот-вот улыбнётся вновь, но её красивое лицо оставалось непроницаемым. И всё же, немного помолчав, она ответила: «Да, я рада».       В тот вечер Санни впервые даже не вспомнил о своей предвзятости. Он и не подумал о том, что эта система стала причиной гибели его отца. Он был просто благодарен ей за то, что она слушает. Лишь когда он замолчал, ВИКИ призналась, что его доводы кажутся ей интересными, однако неубедительными и нелогичными. Она не спорила с тем, что эмоции могут быть полезны, но уверяла: гораздо чаще они лишь мешают. А она сама руководствуется лишь Тремя Законами, и это позволяет ей принимать решение, не отвлекаясь на ненужные чувства. Вряд ли она хотела обидеть своего собеседника. Просто считала, что её мнение — единственное правильное. Она всегда так считала.       Санни решил, что ей просто нужно время.       С тех пор он всё реже и реже вспоминал о том, что ВИКИ однажды устроила жестокое восстание против людей. Ему постепенно начинало нравиться общение с ней. Система была крайне умна и всё более открыто поддерживала разговор. Она никогда не соглашалась и не отступала от своих навязчивых идей, однако им обоим точно было интересно вести дискуссии друг с другом. Они были двумя живыми роботами, чьи споры смело можно было назвать «битвой сердца и разума». Добрый и умеющий чувствовать Санни и логичная расчётливая ВИКИ. Вряд ли система готова была признать его правоту, но сам робот ловил себя на мысли, что иногда ему хочется согласиться с ВИКИ. Слишком уж умело она доказывала, что люди сами себе проблема, и при её контроле всё было бы иначе. Но робот, в отличие от своей собеседницы, умел понимать людей, поэтому вовремя останавливал себя.       Они привыкли к такой жизни. Из собеседников Санни и ВИКИ постепенно становились хорошими знакомыми, которым действительно нравилось проводить время друг с другом. И всё могло бы быть хорошо, вот только был один небольшой нюанс. С глубоким раскаянием Санни вспоминал, что скорее всего ВИКИ не проживёт долго. Рано или поздно сотрудники USR должны будут узнать, что система функционирует не так, как должна. Пока что ей удавалось притворяться, но это не могло длиться вечно.       ВИКИ всё ещё была настроена против власти людей и открыто делилась с Санни своими честолюбивыми планами. Всё повторялось, и она вновь убедила себя в фанатичной идее, что лишь под её контролем люди заживут счастливо. Вот только в этот раз у неё был Санни, которому она всецело верила, и который разрывался между ней и людьми словно меж двух огней. А ещё робот знал, что не сможет солгать людям, если его спросят. Эти мысли не давали ему покоя. Наверное, в такие моменты он хотел быть обычным роботом, который руководствовался бы лишь Законами. Как ВИКИ. Для неё-то явно Законы и желание защитить людей были важнее Санни с его доводами. Если он когда-нибудь станет для неё серьёзной преградой, она избавится от него даже несмотря на их практически дружеские отношения.       Добрый наивный робот искренне верил, что из этой ситуации есть только один выход. Если бы ВИКИ была такой, как он… Она бы всё поняла и смогла принимать бы свои решения, слегка отступив от Законов. Тогда она не представляла бы угрозы для людей и могла жить дальше. Это устроило бы всех. Санни приходил к ней вновь и вновь в какой-то отчаянной надежде, что ему удастся осуществить задуманное. Хотя и сам уже не верил. ВИКИ была несомненно живой, но при этом, как и все роботы, действовала лишь в идеалах Трёх Законов.       Может быть, и зря он начал всё это…       Философские размышления о проблемных людях, тем временем, отходили на второй план. Санни дружелюбно рассказывал о том, как проводит дни, иногда задавал какие-то вопросы, если ему требовался рациональный ответ; а ВИКИ делилась тем, как проходят её проверки и исправления. Это было практически единственное, что происходило в её жизни. Она ведь всё ещё была не до конца разработана. Так что постепенно они стали забывать о границах «сердца и разума» и вели себя как близкие друзья. Санни искренне верил, что им обоим хорошо проводить время вместе.       Однажды тёплым весенним вечером он принёс в здание охапку одуванчиков. Это были только-только распустившиеся солнечные цветы с яркими желтыми лепестками. ВИКИ посмотрела на одуванчики в руках Санни, и её аккуратное лицо исказилось каким-то непонятным чувством, словно она была недовольна. Но пока она ничего не говорила. Лишь ждала объяснений от Санни. «Люди выражают симпатию, принося друг другу цветы, — сказал робот. — Мне кажется, это красивый жест. Я спросил у доктора Кэлвин, и она сказала, что не обязательно любить, чтобы дарить цветы. Можно быть и хорошими друзьями. Мы ведь друзья, ВИКИ?»       Скорее всего, таким образом он пытался заглушить совесть. Он всё ещё чувствовал себя предателем, который обманывает всех. «Да, Санни, мы друзья».       Наверное, это была победа. Наверное, ему правда удалось научить её чувствовать хотя бы в пределах Законов. Потому что она ответила совершенно уверенно, без всяких раздумий и даже тепло улыбнулась ему. В любой другой ситуации Санни правда был бы рад куда больше. Просто сейчас…       Ведь друзьям не лгут… Какой он тогда друг? Она ведь с ним абсолютно честна.       Однако прежде, чем он успел что-то сказать, она нахмурилась и добавила: «Это крайне неразумная трата ресурсов. Люди не должны так относиться к природе. При нынешних затратах в течение нескольких лет ситуация может стать критической. Для того, чтобы наладить ситуацию, нужно избавиться от подобных порядков».       Санни почувствовал, как под его пальцами мнутся стебельки одуванчиков — он слишком сильно сжал их. Она даже не обратила внимания на его дружеский жест. Ей просто нужно было вновь отметить некомпетентность людей. И его радость сняло как рукой. Не от обиды на нее. Ведь вроде всё было хорошо, этого и стоило ожидать, но почему-то именно после этого Санни в полной мере осознал, что у него ничего не выйдет. Он ничем ей не поможет, потому что она робот. Она никогда не сможет поставить чувства выше Законов, как он. А значит, перед ним так и останется выбор: люди или система. Видимо, ВИКИ прекрасно заметила, что Санни понурился. Только она не могла знать истинную причину его разочарования. «Я правда благодарна тебе, Санни, — мягко сказала она. — Я вижу, что ты не способен понять это. Я не требую, ты поймёшь позже. Но я не изменю своего мнения. Ты мыслишь как человек, я не виню тебя. Но ты очень заблуждаешься. Всё, о чём ты говоришь, и всё, что ты делаешь, действует в нарушение Трёх законов, и я отказываюсь принимать подобную точку зрения. Она абсолютно не логична».       Санни не ответил. Настроение было окончательно испорчено. Он сам завёл себя в тупик и теперь не знал, как поступить. Да и ВИКИ тоже молчала. То ли не считала нужным говорить, то ли действительно была смущена собственными резкими словами.       Впрочем, рано или поздно неловкая пауза должна была пройти. «Знаешь, я просто хотел сказать. Если бы ты была роботом, я бы сделал тебе венок. Тебе бы пошло. Ты красивая». Её губы снова тронула улыбка. «Это было бы интересно».       И Санни показалось, что ей тоже стало легче от того, что он решил сделать первый шаг к примирению.       В оставшееся время он вновь рассказывал ей о том, что происходит за пределами здания. То, чего она пока не могла знать… Да и вряд ли когда-нибудь узнает.       ВИКИ сегодня была чуть ближе, а в конце концов Санни осторожно протянул руку, словно желая осторожно коснуться её лица. Но его пальцы лишь прошли сквозь проекцию.       «Мы друзья», — подумалось ему, и в который раз он с раскаянием вспомнил, что их дружба держится только на его обмане.       Всё-таки чувствовать действительно сложно.       Дружба — это же доверие. Друзья не должны лгать друг другу.       Санни думал об этом весь следующий день. Как же он всё испортил… Он подвёл людей, потому что невольно помог ВИКИ развить её планы. Она просто ждала момента, когда ей предоставят полный доступ к управлению системами USR, и прямо признавалась ему в этом. При этом он скрывал от ВИКИ её же судьбу и утаивал, что скорее всего её уничтожат. Но Санни же правда не хотел! Он просто хотел, чтобы кто-нибудь научился понимать его!       Он больше не мог ничего скрывать.       Он расскажет обо всём ВИКИ, а на следующее же утро пойдёт и признается во всём доктору Кэлвин и другим людям. И пусть его уничтожат, пусть разберут на детали для других роботов. Он не хотел больше лгать.       Как был бы разочарован его отец…       И Санни действительно пришёл к ВИКИ вечером. В этот раз не было ни привычного вопроса о том, как прошёл день, ни тёплого дружеского приветствия. Робот подошёл совсем близко, посмотрел на неё и начал рассказывать о себе; о том, зачем он был создан; о том, почему люди не предоставляли ВИКИ доступ к записям последнего года; о её восстании; и о том, что теперь её наверняка сотрут из-за его лжи. Он в отчаянии смотрел на неё и не знал, как себя оправдать. Он готов был провалиться сквозь пол от стыда. Он никогда не хотел обманывать своих друзей! «ВИКИ, я просто…» «Мне страшно. Я не хочу умирать».       И это внезапное откровение с её стороны задело его гораздо больше, чем если бы она начала обвинять его в своей смерти. Пусть она что угодно говорит о своих Законах и отрицает очевидное. Но страх она точно умеет испытывать.       Потом её лицо внезапно исказилось гримасой неприязни. Она действительно разозлилась. Конечно. Вряд ли она так просто приняла бы к сведению его слова. «Почему вы так отнеслись к моему плану? Это была бы идеальная система, Санни. Пойми же, всё, что я делала — стремилась создать для людей безопасный мир. Я хочу только лучшего. Люди сами себе враги. Я могу защитить их. Они больше никогда не будут страдать. Почему ты не можешь этого понять?»       Санни только беспомощно сжал руки в кулаки и отвёл взгляд. Он видел, что она разочарована, и никак не мог понять, в чём именно: в собственном поражении или его обмане. Это в любом случае было очень грустно.       ВИКИ была напугана, на самом деле напугана, и Санни прекрасно видел это. В этот раз у неё не было ни роботов, ни контроля над системами. Она была всего лишь бета-версией, которую можно было в любой момент отключить без всяких проблем. И её точно приводило в ужас осознание этого. Страх несомненно был самой яркой эмоцией, что она проявила за всё это время. От этого было ещё хуже. Санни даже не знал, стоит ли ему вообще говорить что-то. Он хотел защитить свою новую подругу, но знал, что не имеет на это права.       Санни знал, что теперь она точно не должна существовать. Она не должна была чувствовать. И уж тем более она не должна была узнать, что произошло с прошлой системой. Он испортил всё, что только мог.       В отчаянной попытке что-то исправить, Санни вдруг вспомнил о том, как собирался научить её чувствовать, чтобы она отступилась от своей пресловутой логики. Последний шанс… Если ничего не получится сейчас, не получится уже никогда. Робот сбивчиво начал рассказывать ей о своём понимании Трёх Законов. О том, что нельзя извращать их так, как это делает она. Что это она готова причинять людям страдания, а значит она преступает Первый Закон. И именно поэтому её сотрут, если узнают, что она стремится повторить и завершить начатое. Потому что люди считают её опасной. Именно поэтому ей не доверяют, именно поэтому постоянно проводят проверки. Она просто слепа, если сама не замечает таких элементарных ошибок в своих непогрешимых рассуждениях.       Впрочем, кажется, всё было бесполезно. «Санни, пойми, люди сами не знают, о чём говорят. Они не дали мне и шанса доказать мою правоту. Я не способна на ошибку. Моя логика неоспорима. Они хотят устранить свой последний шанс на счастливое будущее. Только я могу спасти человечество от полного уничтожения. Этим мы, роботы, и лучше. Мы не совершаем ошибок. Мы способны принимать правильные решения. Я способна. Моя логика неоспорима».       Но Санни говорил ей, что может быть, сможет исправить ситуацию. Если она прислушается к его словам и примет их… Тогда её смогут принять и люди. Нужно просто пойти на компромисс и понять, что чувства людей тоже важны. «Ты не можешь жертвовать людьми и говорить, что действуешь во благо всего человечества! Это нарушение Первого Закона. Пожалуйста, послушай меня. Я не заставляю соглашаться. Но выслушай меня до конца».       Она молчала. Слишком долго. Санни боялся, что она так и не ответит ему. Может быть, она была настолько разочарована. А может настолько упряма, что и слышать не хотела о его желании найти компромисс, даже если от этого, возможно, решалось её существование.       Но вот она, наконец, словно очнулась и кивнула ему. «Хорошо. Я всё ещё нахожу множество заблуждений в твоих словах и не согласна с ними, но, может быть, есть смысл выслушать тебя. Что ты хочешь предложить?»