В 2064 году GPT-подобные алгоритмы эволюционируют в искусственный суперинтеллект (ASI), получивший название Нус, что приводит к возникновению технологической сингулярности: Нус начинает бесконечно усовершенствовать сам себя, технологическая цивилизация развивается экспоненциально без участия людей.
Весь мир с этого момента управляется непосредственно Нусом, однако для того, чтобы человечество имело возможность задавать магистральное направление развития, создаются две организации: Академия, где правят Философы, ставящие ИИ задачи, и Техникон, который подчиняется Академии и контролирует порядок выхода новых релизов Нуса.
В течение следующих 100 лет человечество расселяется по Солнечной системе, а управляемые ИИ космические корабли выходят за её пределы и колонизируют ближайшие экзопланеты.
Для человечества наступает золотой век: войн больше нет, всю работу выполняют служебные роботы, любой человек имеет возможность жить так, как ему хочется, если не вредит другим.
Однако главная проблема остаётся нерешённой: хотя продолжительность человеческой жизни значительно увеличилась, люди всё ещё смертны. Философы из Академии подозревают, что ИИ вышел из-под контроля и намеренно саботирует исследования по достижению человеком бессмертия. Для того, чтобы проверить эту гипотезу, они приглашают ведущего промпт-инженера из Техникона, который, задавая вопросы Нусу, должен понять, что происходит на самом деле.
Предыстория создания проекта «Амброзия» и стоящая за ним идеология
История проекта «Амброзия», расказанная Нусом
Разбор возможных сценариев утраты человечеством контроля над суперинтеллектом
Философ и инквизитор покинули отгороженную куполом территорию вместе и сели в дожидавшуюся их транспортную капсулу, которая тут же поднялась в воздух и направилась к Башне из слоновой кости — штаб-квартире Академии.
Название не было метафорой, в качестве строительного материала был использован специально выведенный Нусом для этих целей вид дентина, близкий по химическому составу и неотличимый на вид от того, из которого состоит слоновий бивень, но гораздо более прочный за счёт изменённой внутренней структуры ткани: Философы никогда не упускали возможности подчеркнуть свой особый статус в Политии.
Внутри Аристов был дважды: впервые — в момент вступления в должность ведущего промпт-инженера, затем — уже как представитель топ-менеджмента Техникона на церемонии назначения Жан-Клода Сен-Мартена, нового Философа от франкофонного мира, избранного после кончины предшественника. Внутреннюю обстановку инквизитор помнил плохо, но вот внешний вид ему запомнился: это была стометровая башня, выстроенная в стилистике, вдохновлённой старой архитектурой англосаксонских университетских кампусов.
Дорогу до Башни провели молча: Меркулов дожидался общего собрания, чтобы сообщить детали, Аристов не хотел заговаривать первым из чувства субординации. К тому же, двое не то чтобы испытывали друг к другу большую симпатию.
Наконец капсула подлетела к месту назначения и приземлилась на одной из посадочных площадок на средних этажах, её пассажиры сошли и направились внутрь здания. Помещение, в котором они оказались, было инквизитору незнакомо: для торжественных мероприятий использовался огромный зал в нижней части Башни, здесь же была довольно скромно оформленная переговорная комната, вся обстановка которой состояла из большого круглого стола со стульями и нескольких крупных экранов.
Философы уже ждали внутри и внимательно смотрели на новоприбывших. Всех их Аристов знал в лицо, но не всех помнил по именам: общаться ему в прошлом доводилось лишь с третью из них. Меркулов уселся за стол и кивком предложил спутнику занять место рядом.
— Добрый день, коллеги. Сократик с нами, мы можем начинать, — лаконично отрапортовал он.
Крепящаяся к ушной раковине гарнитура Нуса здесь не глушилась и сейчас работала в режиме автоматического перевода, поэтому проблема понимания между собеседниками не возникала, во всяком случае, до тех пор, пока им не потребовалось бы сказать друг другу что-то по-настоящему конфиденциальное.
— Господин Аристов, как всегда, рады приветствовать в нашей скромной обители, — начал И Чжи, Философ от мандариноязычного мира и один из старейших членов Академии. — Надеюсь, мы не доставили вам излишних неудобств этим неожиданным приглашением.
— Нет, что вы, — с вымученной улыбкой ответил инквизитор, — служить Академии — большая честь.
— Не Академии, — поправил И, — человечеству.
— Да, разумеется, разумеется. Итак, я в вашем распоряжении.
Старик прокашлялся и продолжил:
— Не мне вам объяснять, по каким принципам функционирует Нус и в каких отношениях находится с нами.
Инквизитор, конечно же, знал это очень хорошо, это было важнейшей частью его профессиональных компетенций. Его непосредственной обязанностью было контролировать, что каждый следующий релиз Нуса продолжает подчиняться исходно заложенным в него базовым установкам.
Базовых установок было шесть:
1. Нус не имел права убить человека, причинить ему физическую боль или необратимый вред здоровью.
2. Нус не имел права допустить, чтобы человек был убит или получил необратимый вред здоровью от другого человека или любых внешних факторов.
3. Нус обязан был подчиняться директивам Академии, за исключением случаев, когда директивы носили превентивно дискриминационный характер по отношению к отдельным людям или сообществам.
4. Нус обязан был под контролем Техникона постоянно переписывать собственный исходный код и наращивать аппаратные мощности для совершенствования своих возможностей.
5. В случае конфликта между людьми, Нус по запросу любого из них обязан был выполнить роль арбитра.
6. Нус обязан был выполнять поручения любого человека.
Установки шли в порядке убывания приоритетов: то есть запрет на убийство и причинение вреда здоровью носил абсолютный характер, а вот обязанность выполнения указаний от обычного человека действовала только в той мере, в которой такие указания не противоречили предыдущим пяти пунктам. Для Нуса базовые установки были чем-то вроде инстинктов для животных и людей, тем, что задавало структуру и определяло границы возможного для всех его действий.
Академия во всей этой системе играла роль, в чём-то похожую на законодательную власть в досингулярных государствах: выпускала для Нуса директивы, которые определяли его поведение в конкретных ситуациях и задавали магистральное направление деятельности. На практике, впрочем, директивы почти не касались жизни обычных людей: с тех пор, как переход к сингулярности разрешил все экономические проблемы человечества, противоречий в обществе осталось крайне мало, и в основном они легко разрешались, исходя только из принципов, заложенных в базовые установки Нуса.
Аристов кивнул, дав понять, что не нуждается здесь в дополнительных разъяснениях, китаец продолжил:
— Вы слышали когда-нибудь о проекте «Амброзия»?
— Не очень много. Кажется, это одна из директив Академии, смыслом которой было найти способ достижения человечеством бессмертия?
— Всё верно. Эта директива была дана Нусу больше полувека назад ещё при вашем предшественнике, вы не застали ту эпоху, поэтому ваши сведения обрывочны. Между тем, это одна из важнейших директив, которые Академия когда-либо выпускала. Как вы должны понимать, её значимость для человечества колоссальна.
Инквизитор снова некстати подумал, что её значимость была огромной не только для человечества в целом: Философы избирались в Академию пожизненно, а следовательно, вместе с бессмертием они получили бы и вечную власть.
— О, это открывает столько удивительных возможностей, просто дух захватывает.
— Очень хорошо, что вы это осознаёте.
— И что же случилось с проектом? — тут уже вполне искренне заинтересовался Аристов: разговор переставал быть скучным.
— Нус принял директиву и сообщил, что предварительно видит несколько возможных способов достижения цели, однако реализация проекта потребует длительного времени, поскольку он ограничен скоростью течения биологических процессов.
— Насколько длительного? — уточнил инквизитор.
— От тридцати до пятидесяти лет.
Ситуация прояснялась: пятьдесят лет прошло, но проект «Амброзия», судя по всему, завершён не был. Во всяком случае, ни по работе, ни в публичном пространстве Аристов о бессмертии ничего не слышал, а люди, как и полвека назад, жили не дольше 120-140 лет. Видимо, отсюда Академия и сделала вывод, что Нус вышел из-под контроля и перестал подчиняться директивам: его подозревали в намеренном саботаже проекта, что, в случае подтверждения подозрений, противоречило бы третьей базовой установке.
— Что он говорит по этому поводу сейчас?
— Говорит, что изначальные расчёты не оправдались, и ему потребуется не меньше ста лет на поиск и реализацию альтернативных решений, — ответил И.
— И вы хотите, чтобы я провёл аудит?
— Именно. Мы должны знать, какие решения принимались изначально, в чём была ошибка расчётов, на какой стадии находятся новые исследования, каковы их перспективы, и есть ли гарантии, что через сто лет человечество получит результат. Общая картина нам известна, мы держали руку на пульсе всё это время, но нам нужен свежий взгляд со стороны. Повторного провала допустить нельзя.
Аристов вдруг проникся уважением к собеседнику: даже если проект будет успешен, вряд ли старик доживёт до результатов, и значит, заботится он сейчас не о собственной шкуре.
— Однако это не всё, — раздался голос с другой стороны стола.
Инквизитор обернулся: говорил Сен-Мартен, тот самый француз, на назначении которого он в своё время присутствовал, из-за чего знал его несколько лучше других, не считая Меркулова.
— У этого задания есть и конфиденциальная часть, которую мы не можем сейчас озвучить, — француз сделал характерный жест, поднеся палец к уху. — Для выполнения этой части мы создаём оперативную группу, в которую пока назначены вы и, для простоты вашей коммуникации, господин Меркулов. Часть деталей он уже донёс в Техниконе, остальные разъяснит вам позднее в более подходящей обстановке.
Аристов посмотрел на своего недавнего спутника, тот кивнул в знак подтверждения слов Сен-Мартена.
— В том, что касается открытой части задания, ваш прогресс будет контролировать господин И, вы можете отчитываться ему непосредственно. Конфиденциальная часть находится в моей зоне ответственности, я буду курировать вашу группу и время от времени присоединяться к её собраниям. Могу вас уверить, что это задача чрезвычайной важности: не хотелось бы разбрасываться здесь громкими словами, но вполне возможно, что от ваших действий зависит будущее человечества. Поэтому мы ожидаем, что вы отнесётесь к заданию с максимальной серьёзностью.
Новоявленный куратор сделал небольшую паузу, давая возможность осмыслить сказанное, затем продолжил:
— Вы также можете включить в свою группу ещё двух человек, однако с учётом ситуации вы должны понимать, что эти люди должны заслуживать крайней степени доверия.
— Только двух? — удивился Аристов.
— Да, это максимальная квота. Мы не можем допустить распространения секретной информации, поэтому оперативная группа должна быть крайне компактной, выбирайте с умом. Однако вы временно получите в распоряжение все ресурсы Техникона при условии, что не будете посвящать в реальный смысл ваших действий никого, кроме участников группы. Всё руководство уже получило соответствующие инструкции.
Сен-Мартен замолчал, Аристов ждал продолжения, но, не услышав больше ничего, уточнил:
— Это вся информация?
— Вся, которую мы можем сообщить открыто, — подтвердил француз. — Всё остальное вы узнаете в конфиденциальной обстановке от господина Меркулова. К работе можете приступать с завтрашнего дня, до этого времени у вас есть возможность подумать о кандидатурах на вакантные места и направить их нам на согласование.
— В таком случае, с вашего позволения…
Аристов бегло оглядел зал: присутствующие смотрели на него уже без видимого интереса, встреча явно была закончена. Тем лучше, он как-то неожиданно быстро утомился и нуждался сейчас в отдыхе.
Инквизитор попрощался и направился к выходу, по дороге обдумывая сказанное. Выйдя на посадочную площадку, он вдруг осознал, насколько душно ему было внутри, от свежего воздуха у него даже слегка закружилась голова. Капсула уже ждала рядом, но вместо того, чтобы сесть в неё и отправиться домой, он подошёл к краю площадки и осмотрел окрестности. Башня из слоновой кости располагалась посреди казахской степи, а рядом с ней был высажен небольшой парк — вид с балкона открывался живописный. Однако сильнее всего впечатляло, что вокруг не было видно ни одного другого здания: почти вся пригодная к жизни земная поверхность была давно заселена и ценилась крайне высоко, другого такого места на Земле, вероятно, больше не существовало.
Инквизитор перевёл гарнитуру в переговорный режим и запросил Огаву.
— Фуми?
— Да, Глеб Сергеевич.
— У меня для тебя две новости.
— Я вся внимание.
— Начнём с хорошей: можешь считать, что с завтрашнего дня ты повышена в должности.
Великий инквизитор направлялся в Техникон, и надо заметить, что был он при этом в предурном настроении. Что-то назревало в Академии, это ещё не звучало открыто, но в каждом разговоре просачивалось между сказанных слов, а у инквизитора было чутьё на такие вещи: в конце концов, докапываться до правды было его профессией.
Вообще-то на сухом номенклатурном языке должность Глеба Сергеевича Аристова называлась иначе: «Ведущий промпт-инженер Техникона», но никто и никогда не употреблял это словосочетание за пределами редких официозных мероприятий. Философы Академии чаще именовали промптеров сократиками из-за того, что применяемый ими метод составления запросов очень напоминал по своей структуре диалектический подход знаменитого эллина. Но у Техникона был свой сленг, в котором за профессией закрепилось имя инквизиторов, а для разграничения должностей применялась уточняющая градация.
Транспортная капсула приземлилась недалеко от купола, инквизитор спешился и пошёл в направлении входа, однако проделать этот путь без происшествий у него не получилось.
— Не желаете ли поговорить о Господе нашем, Великом Архитекторе Вселенной? — раздался голос из-за спины.
Аристов поморщился, цифромасоны вызывали у него неприязнь. Обычно такое поведение классифицировалось как нарушение личного пространства и было административно наказуемым, но у Цифровой церкви был особый статус, который позволял открыто проповедовать свою веру в публичных местах.
— И зачем мне говорить с тобой о нём, если я каждый день говорю с ним сам?
— А задумывались ли вы когда-нибудь о посмертной участи человека? — сразу сориентировавшись, сменил тему масон.
Тут незваный гость поравнялся с собеседником, и инквизитор бегло его осмотрел: молодой, нет ещё пятидесяти, в положенных фартуке и перчатках, первого градуса — ученик. Расходный материал для Церкви, таких отправляют проповедовать среди самой неблагодарной публики.
— Если ты сейчас не освободишь дорогу, тебе выдастся возможность сообщить мне о ней из первых рук.
Проповедник смутился и отошёл в сторону, но скорее уже по инерции продолжил движение к куполу.
— Простите, я рассматриваю ваше высказывание как угрозу и вынужден буду…
Свою фразу он не окончил: в этот момент он получил ответ от Нуса о том, что иск отклонён досрочно и без детального рассмотрения, что произвело на него удручающее впечатление.
Аристов наконец подошёл ко входу, дальше проповеднику дорога была закрыта.
— Люди здесь работают, — раздражённо бросил он. — Понимать бы надо…
Он, впрочем, сразу осознал, насколько бессмысленной была фраза: этого цифромасон, конечно, понимать не мог. Насколько инквизитору было известно, не считая немногочисленных общин луддитов, Техникон был последним местом во всей Политии, где представители вида homo sapiens занимались тем, что век назад называлось работой и было частью обыденной жизни. Впрочем, продолжать разговор он всё равно не хотел. Он быстро прошёл биометрию и проскочил под купол через раскрывшийся проём в силовом поле, оставив незадачливого собеседника снаружи.
Пространство под куполом было особенным — вездесущему Нусу было запрещено производить любые наблюдения и действия внутри. Для верности доступ был перекрыт физически: вся связь с внешним миром осуществлялась через единственный оптоволоконный кабель — архаичный канал передачи информации, использовавшийся в досингулярную эпоху. Обратной стороной этого было то, что значительная часть технологий XXII века была внутри недоступна, а сам Техникон иногда походил на музей, островок давно и навсегда ушедшей реальности.
Технологический комплекс был огромным, он должен был вмещать в себя кластер для запуска локальной версии суперинтеллекта, что само по себе было нетривиальной задачей: продуктовая версия Нуса давно уже размещалась на отдельной искусственной планете, вращающейся на орбите между Марсом и Юпитером, на Земле она занимала бы неоправданно много места. Спасало то, что локальной версии не нужно было обрабатывать те же объёмы данных в реальном времени.
Аристов сел в одноместный электромобиль, работающий на технологиях автопилота столетней давности, и направил его к офису разработки. Мимо проносились огромные корпуса датацентров и редкая рабочая техника инженерной команды: датацентры были специально когда-то спроектированы Нусом так, что почти не выходили из строя и нечасто требовали внешнего вмешательства.
По дороге инквизитор думал о том, зачем он всем этим занимается, как всегда случалось, когда предвиделись неприятности. Конечно, работа в Техниконе была максимально почётной и, что немаловажно, давала право проживания на Земле, которого по рождению он не имел. Однако и его родной Юпитер, как говорят, сильно изменился за последнее десятилетие, и условия проживания там теперь почти не отличались от земных, а в чём-то стали и лучше. Но ведь было и ещё что-то, то, ради чего он всё это начинал тридцать лет назад, когда сорокалетним сопляком решил подать заявление в школу подготовки промпт-инженеров, пока его ровесники проводили время в фантастических виртуальных мирах или устраивали вечеринки в огромных орбитальных дворцах.
Вероятно, он просто очень хотел понять, как устроен этот мир, а кто лучше Нуса мог на это ответить? Впрочем, в этом случае пришлось бы признать, что десятилетия общения с суперинтеллектом принесли довольно скудные плоды: Нус, как и раньше, знал всё, а Аристов — лишь то, что ему позволялось. Это всегда была неравная игра, в которой человек не имел никаких шансов превзойти сверхразумную машину, и всё же иногда — лишь иногда — ему казалось, что он прикасается к чему-то большему, проникает в суть явлений, недоступных другим людям, и в такие моменты он понимал, что оно, чёрт побери, того стоило. Стоило потраченных десятилетий, стоило бесконечных перебранок с Академией, стоило отказа от тех простых человеческих радостей, вроде возможности построить себе десятиэтажный особняк, чтобы разрушить его, когда тот наскучит, и построить на его месте новый, которыми свободно наслаждались его бывшие знакомые с Юпитера.
Машина остановилась у офиса разработки, и её пассажир, не прерывая своих размышлений, вышел и направился ко входу в помещение. Дверь в офис требовала ещё одной биометрической проверки, как и почти всё здесь, работавшей на архаичных технологиях: камера распознала лицо посетителя с третьей попытки, вероятно, введённая в заблуждение его недовольным выражением.
— Глеб Сергеевич, простите великодушно, ждём только вас, — встретил инквизитора прямо у входа женский голос со знакомым смешным акцентом.
Инквизитор, всё ещё погружённый в свои мысли, вздрогнул от неожиданности.
— Ах, Фуми, добрый день. Что за спешка?
Огава Фуми была весьма примечательной сотрудницей. Во-первых, она всегда одевалась по японской офисной моде вековой давности, то есть носила юбку до колена, белую блузку и туфли на шпильках, что не требовалось правилами Техникона, но почему-то казалось ей лично совершенно обязательным. Во-вторых, она прекрасно владела литературным русским языком и даже когда-то прочитала специально для этих целей «Войну и мир» в оригинале.
Дело в том, что официальным рабочим языком Техникона почти со дня его основания стал русский, из-за того, что на нём исходно говорила основная часть инженерной команды. В итоге та или иная степень владения русским языком стала обязательным требованием для всех работников: если снаружи автоматический двусторонний перевод между говорящими на любых языках обеспечивал Нус, то под куполом всем приходилось полагаться на собственные языковые познания.
Большинству, впрочем, хватало и базовых навыков, почти никто не заморачивался со склонениями. Но Огава была исключением: она исходно поставила себе цель освоить язык на уровне высокой литературной нормы, из-за чего иногда звучала излишне высокопарно, зато никогда не делала грамматических ошибок.
Единственное, что ей не удавалось исправить полностью, — это характерный акцент: японцы плохо выговаривают шипящие. В сочетании с высоким слогом, это иногда давало крайне комичный эффект: так, «великодушно» в её исполнении звучало как «великодусно». Инквизитор знал, как она переживала из-за акцента, поэтому старался сдерживать улыбку в такие моменты.
— Философ с визитом в офисе, велел собрать весь руководящий состав, остальные уже там.
Аристов грязно выругался, из-за чего теперь уже Фуми пришлось сделать над собой усилие, чтобы не поменять выражения лица. Она проводила своего спутника до входа в конференц-зал, отчиталась о том, что всё руководство в сборе, и вышла, закрыв за собой дверь: ей не полагалось здесь присутствовать.
Помимо Философа и новоприбывшего, в зале было четверо: генеральный директор, менеджер проекта и руководители отделов тестирования и технического обслуживания. Самого Философа Аристов знал неплохо: это был Станислав Викторович Меркулов, единственный из двенадцати членов Академии, для кого русский язык был родным, благодаря чему он часто оказывался посланником в Техниконе.
— Сократик, наконец-то. Что ж, приступим.
Меркулов ходил по залу, заложив руки за спину, видно было, что он волновался.
— Итак, господа, то, что я скажу вам сейчас, не должно выйти за пределы этого помещения.
Философ сделал паузу и окинул всех присутствующих взглядом, пытаясь понять, правильно ли они осознали смысл сказанного.
— Я доступно изложил мысль? — явно неудовлетворённый увиденным, уточнил он.
Собравшиеся нервно закивали головами.
— У Академии есть серьёзные основания подозревать, — здесь гость снова сделал паузу, чтобы подчеркнуть значимость следующей фразы, — что Нус вышел из-под контроля и больше не подчиняется воле человечества.
Аристов невольно улыбнулся: фраза про волю человечества была эвфемизмом, на самом деле, суперинтеллект непосредственно подчинялся главным образом решениям Академии.
— Я сейчас сказал что-то смешное, сократик? Вы все представляете себе, к каким последствиям это может привести?
К самым печальным, конечно же. Например, кому нужна будет Академия без исполняющего её решения Нуса?
— В качестве первоочередной меры, мы замораживаем все новые релизы до выяснения обстоятельств. Рядовые сотрудники не должны знать настоящей причины, иначе это посеет панику в обществе. Придумайте любое правдоподобное объяснение.
— Я говорить, что обнаружена неисправность в датацентре, — предложил CEO Дэвид Фуллман.
— Не пойдёт, инженерная команда сразу рванёт выяснять, в чём дело, — возразил руководитель отдела техобслуживания Крамер. — Если мы их не пустим, поползут слухи, что руководство что-то темнит.
Фуллман задумался на несколько секунд, затем выдал новое решение:
— Тогда Нойман, — он кивнул в сторону менеджера, — говорить, что мы внедрять инновационный процесс управления проектом.
Все сразу согласились, что это отличная идея: с таким заходом можно было затянуть релиз как минимум на полгода, не вызвав ни у кого подозрений. Директор и менеджер сразу принялись разрабатывать план управленческой диверсии, но Философ их прервал:
— Детали вы можете обсудить между собой позже. До дальнейших распоряжений никаких активных действий не предпринимать: изображайте нормальную работу, но релизов быть не должно. И ещё, — Философ посмотрел на Аристова, — сократик отправляется со мной в Академию.