Китайская комната

— Капитан Шепард? У вас не найдется пары минут? Он кивает, жестом показывая Тали и Легиону подождать в стороне. Тали вопросительно наклоняет голову и поворачивает чуть приподнятую ладонь — человеческим аналогом жеста, верно, была бы вздернутая или нахмуренная бровь, — но Шепард не видит причин отказывать. Адмирал Зен с самого начала показалась ему самой здравомыслящей из всех прочих. В её обязанности, само собой, входило заниматься политикой — то есть, к примеру, участвовать в происходящем фарсе, даже осознавая, что это фарс, — но в остальном она руководствовалась соображениями, присущими скорее исследователю и учёному. Хотя бы в общем и целом. Шепард проходит несколько шагов, и они с адмиралом оказываются лицом к лицу — или, точнее сказать, лицом к шлему. Любопытно: Даро'Зен вас Морех определенно ниже ростом, чем он, — но стоит так, что эта разница выглядит почти незаметной. — Я могу понять, почему вы не пожелали уступить мне ваше приобретение для дальнейших опытов, — начинает она, и Шепард мог бы поклясться, что видит за матовым щитком шлема мерцание безжалостных, умных глаз. — По вашей броне заметно, что вы — специалист высокого класса. Я сама ни за что не отказалась бы от приоритета. Шепард не пытается возразить; ему не кажется, что это будет понято верно. — Но именно поэтому, как я рассудила, вам будет интересно услышать кое-что. — Она замолкает, будто бы выжидая — Шепард по-прежнему недостаточно разбирается в кварианском языке тела, но на всякий случай предпочитает кивнуть. — Речь об эксперименте, который предложил один мой соотечественник чуть больше четырёх сотен лет назад. Его имя было... впрочем, не стану утомлять вас лишними данными. Само по себе имя ничего не скажет тому, кто не знаком с историей кварианской научной мысли. Важно то, что время его жизни совпало с резким рывком в области разработки — сначала математической, разумеется, — сложных программных комплексов, и тогда же начали разворачиваться ожесточенные дискуссии между сторонниками разных взглядов на проблему искусственного интеллекта. — Сильная и слабая гипотеза, — полувопросительно, полуутвердительно замечает Шепард. — Мне привычны другие термины. Однако суть отмечена верно: тот учёный намерен был экспериментально проверить, насколько состоятельны программные комплексы в качестве разумных существ. Вы сокращаете мне дорогу, капитан. — И какой же способ он выбрал? — Довольно простой, но изящный. Мышление оперирует значащими символами — так почему бы не использовать язык, как естественную символьную систему. — У нас на Земле, — замечает Шепард, — тоже придумывали такой эксперимент. — О, — Зен делает многозначительную паузу, — значит, Флотилия недостаточно информирована о прежних успехах землян. Она — глава исследовательского флота, напоминает себе Шепард. С ней надо быть осторожнее. — Это был мысленный эксперимент, — уточняет он, и глаза адмирала Зен, кажется, становятся чуть тусклее от разочарования. — Можно сказать, философский. — У нас, кварианцев, никогда не было склонности к философии. — Она едва заметно качает головой. — Мы предпочитаем практику. Шепард мог бы указать адмиралу Зен на некоторые последствия таких предпочтений, но вовремя прикусывает язык. — Не буду спорить о традициях, адмирал. Тем более, что мне гораздо интереснее услышать то, о чем только, — он хмыкает, — теоретизировали у нас. — Разумеется, — Зен отвечает сухо, но в её кивке — сдержанное довольство. — Для эксперимента выбраны были несколько поселений в одном из языковых анклавов. В те времена Раннох уже вступил в эру глобального объединения, однако оставались ещё области — в основном, в горах — где, благодаря относительной изоляции, еще сохранялись местные языки и диалекты. Некоторая трудность состояла в том, чтобы такой диалект не был близким родственником стандартного, на котором основывается самый распространенный из языков программирования; но в итоге после тщательных поисков был отобран наиболее подходящий вариант. Наш ученый работал с различным числом программ, которые еще не получили общего имени «геты». Варьировал их количество от минимального до максимально возможного — разумеется, для своего времени, — на одну платформу. Были подготовлены инструкции — они представляли собой набор команд «если А, то Б» в сочетании с предзагруженным словарем. Он установил, что с увеличением количества программ словарь платформы становился полнее и снижалось число ошибок. Удалось проследить заметную корреляцию в сложности фраз и осваивании операций с новой терминологией, повысилась способность к извлечению неочевидных выводов и импровизации. Соответственно, и гораздо больший процент испытуемых в опросах характеризовал взаимодействие с экспериментальным интерфейсом, как общение с кварианцем. Но не было момента, когда вдруг возникло бы то, что можно назвать пониманием. Убери или присоедини лишнюю программу: всё та же пологая функция без пиков. Как я уже упоминала, эксперимент был технически ограничен — но математические расчеты можно экстраполировать, и качественного перехода не наблюдалось даже в пределе. Если хотите, капитан, я пришлю вам на личный адрес выдержку из журнала, издаваемого на средства исследовательского флота, с подробным рассказом об этом эксперименте и его предыстории. Оригинальная статья четырехсотлетней давности также приведена в приложении. В вашем случае не приходится опасаться, что математическая часть останется не понятой. С социологической составляющей, полагаю, проблем тоже не должно возникнуть. Учитывая, — её глаза вновь блеснули, — как вы разрешили ситуацию во время суда. Шепард видит этот крючок — и решает не попадаться. — С удовольствием прочту, адмирал. Как только найду возможность. Но мне показалось, что вы хотели поделиться со мной не только исторической справкой, но и выводами? Зен пожимает плечами с деланным равнодушием. — Вывод прост. Мы можем допустить, исходя из практики, что искусственно созданная система для решения интеллектуальных задач — машина, если коротко, — может демонстрировать поведение, которое мы ассоциируем с поведением разумного существа. Однако практика не даёт уверенно утверждать, что за этим поведением стоит нечто значащее. То, что мы, существа разумные, назвали бы смыслом. — Разница между семантической и символической системой, — кивает Шепард. — Приятно встретить умного собеседника, к тому же не принадлежащего к твоему народу, — холодно улыбается Зен — или, по крайней мере, такое впечатление создают блики света на ее шлеме. — Вам, очевидно, не нужно объяснять отсутствие облигатной причинно-следственной связи между этими понятиями. — Как таковой, синтаксис не рождает семантику, — тем не менее, проговаривает Шепард — больше для себя самого. — Прискорбно, что часть населения территории, где проводился эксперимент, этого так и не осознала. Они продолжали воспринимать гетов более похожими на нас, чем следовало. — Адмирал Зен качает головой. — Во время Утренней войны этот горный массив был стерт с лица Ранноха. Исторические источники не позволяют достоверно установить — нападавшей стороной или оборонявшейся. Шепарду некстати вспоминается, как они с Тали делились опытом насчёт дронов — её заинтересовало, как эта технология устроена у людей, а он попросил разрешения поближе осмотреть её собственного. «Я слышал, во время боя...» — он на пару секунд прервался, припоминая, — «Как ты там к нему обращалась — "Бей по оптике, Чатика"?» И он улыбнулся — точнее, попробовал улыбнуться, но застывшая в оборонительной позе фигура Тали свидетельствовала, что он с этим поторопился. «Просто мне... так удобнее. Не беспокойся, Шепард — я отличню помню ошибки своего народа», — произнесла она каким-то отчужденным голосом. «Мне просто интересно, Тали. — Он примирительным жестом поднял руки. — Знаешь, я ведь называл свой первый компьютер Майком. Он тормозил безбожно — откуда на фермерской колонии хорошие комплектующие, — но всё-таки с его помощью я мог выходить в экстранет и учился писать программы. Я к нему привязался почти как к другу. Не все за котятами и щенками так ухаживают, как я его чинил — тем более, всё равно ведь удавалось порой достать или обменять что-нибудь для апгрейда». «Да, это очень сложно, — невпопад согласилась Тали. — Мы — народ инженеров, Шепард, и когда постоянно работаешь с каким-то устройством, переживаешь за него, сложно не начать... как это...» — Её автопереводчик скрипнул, выдавая певучую кварианскую фразу. «Наверное, ты имеешь в виду антропоморфизм». — Судя по тому, как вопросительно подняла перед собой ладонь и покачала пальцами Тали, её автопереводчик тоже не сработал. Шепард многозначительно улыбнулся. — «Синонимы». «Я понимаю, что это явление достаточно универсально, Шепард». «И в этом нет ничего страшного, а тем более фатального. Мы ведь понимаем, что... слушай, я хочу сказать: какая разница, если результат один? Ну а если тебя бьет током — точно ясно, что это не он обижен, а настраивать лучше надо». Тали улыбнулась на эту неуклюжую шутку — и он наконец смог перейти к своим собственным дронам — и некоторым интересным усовершенствованиям, которые внес в стандартную схему, применяемую Альянсом. Неловкость была забыта. Но адмирал Зен явно смотрела на ту же самую проблему под несколько иным углом. — Значит, вы говорите о том, что мы просто приписываем гетам обладание личностью и сознанием? А оттого и мотивацией, похожей на человеческую... хотел сказать: на мотивацию разумного существа. — Ему кажется (похоже, не без оснований), что Зен намеренно вынудила его расширить семантическое поле. — Именно так. Способность программ к самообучению не требует ничего, кроме надлежащего алгоритма. Если образовательная система у вас, землян, хотя бы сколько-то напоминает нашу, — и опять Шепард слышит улыбку в голосе Зен, — эти психологические эффекты вам должны были объяснять на довольно раннем этапе. — А следовательно — восстание машин невозможно, — добавляет он, не удерживаясь на этот раз от усмешки. — В строгом смысле — да. Вы всё-таки очень радуете меня своим умом, капитан. Необходимо полагать, что никакая программа или совокупность программ, созданных на основе известных нам символьных систем, не сможет быть достаточно рациональной, чтобы ставить перед собой автономные цели. То, что мы принимаем за таковые — следствие сбоев в коде, скопившихся погрешностей. У них есть, безусловно, свои причины, в том числе, если так можно выразиться, эволюционные... но разум ошибкой не породить. — А что же тогда ваша Утренняя война? — Тот же сбой, хоть и громадных масштабов, — пожимает плечами Зен. — Наверняка злонамеренность. Может быть, вирус. Именно затем и стоит вести исследования — разумеется, с соблюдением всей техники безопасности. — Её тон меняется только самую малость, но акцент на последних словах явно даёт понять — адмирал догадалась, о чём не было сказано на суде. — Чтобы установить источник столь разрушительной программной инфекции и впредь не допустить промашек в контроле. Но ответственных уже не найти. — Вы как раз поэтому хотите добраться до гетов, которые остались на Раннохе. — Это, на самом деле, не вопрос. — Разумеется. Выживший из ума Геррель мог бы просто подвергнуть наш дом ковровой бомбардировке — если допустить, что Коллегия в принципе проголосует за его методы войны, — но мне, капитан, хочется, чтобы Галактика увидела нас не подчищающими, наконец-то, за собой трусами, а хозяевами, вернувшимися домой. — И для вас, в отличие от Герреля, несущественно то, что сами геты ни на кого с тех пор больше не нападали? — Почему-то Шепарду кажется, что он знает ответ. — Даже то, что геты несколько столетий не покидали систему Ранноха, как свидетельствует ваш... образец, — наконец, находит Зен нужное слово, — доказывает, что программный комплекс — как там это звучало, «Консенсус»? — при всех своих поразительных объемах, так и не достиг автономного целеполагания. А брошенный без контроля инструмент — всегда опасен, поскольку неясно, кто его подберёт. Советую вам запомнить это, капитан Шепард. *** Шепард вновь вспоминает об этом разговоре — на освещенном заходящем солнцем обрыве, под бесшумный грохот битвы на низкой планетарной орбите. У него так и не нашлось времени, чтобы как следует изучить присланную статью. Письмо догнало его уже на пути к ретранслятору Омега-4 — а самоубийственная миссия, действительно стоившая «Нормандии» нескольких жизней, и последующее ожидание трибунала не способствовали подходящему настроению. Шепард спрашивает себя: изменило ли бы это хоть что-нибудь. Адмирал Раан за его плечом застыла в неподвижности — похоже, с трудом удерживаясь, чтобы прямо сейчас не выхватить дробовик. Она точно так же отчаялась и боится, как и все остальные. Будь здесь Тали — может, она нашла бы нужные слова для своих соотечественников. Но Тали рассыпалась на молекулы вместе с взорванной базой Коллекционеров, неловко подвернув ногу во время эвакуации. Шепард помнит, как её пальцы выскользнули у него из ладони — с обидной лёгкостью, лишив даже возможности попрощаться. Квариане ни за что не отступят — в своем решающем бою. Мир невозможен. Но что, если это, на самом деле, — и не война? Шепард будто наяву слышит голос адмирала Зен: «У машины нет и не может быть своих собственных целей». Будь здесь Легион — может, поверить в обратное было бы легче. Хотя даже тогда Шепард не мог с уверенностью сказать, что поверил сам. Он просто слишком не хотел отдавать «Церберу» что угодно, что в будущем могло обеспечить Призраку преимущество. Но Легиона здесь тоже нет — эмиссар гетов остался на этой же самой базе, безупречно проведя отряд поддержки по её запутанным коридорам, но вражеские атаки слишком сильно повредили его внешние оболочки и блоки памяти. В полевых условиях даже совместных умений Тали и Шепарда не хватило, чтобы вернуть платформе функциональность. Заменивший своего предшественника ВИ гетов наклоняет острую голову, анализируя новые сигналы от внешней среды. Платформа незаметно меняет конфигурацию, готовясь к перестройке в боевой режим — знакомое зрелище двухлетней давности; настолько знакомое, что начинают ныть кости. Брошенный инструмент никогда не сможет действовать сам. Каким бы сложным не сделался за долгие годы. Психологическая особенность настоящего разума — искать разум вовне. «Китайская комната», — говорит себе Шепард; рука отработанным жестом тянется за спину. Он наводит прицел.