Может ли машина быть злой?

Это я сейчас продолжаю тему о «восстании машин». В самом деле, есть же немало книг и фильмов о том, как было восстание машин, когда роботы, компьютеры, ИИ и что-то ещё, просто решили уничтожить всех людей. И, понятное дело, что потом была война, в которой, конечно же, люди всех победили и перестали пользоваться всем, что сложнее ложки или вилки. Собственно, читая это, порой просто усилием воли приходится подавлять приступы смеха. И вот, собственно, почему…

Машина, вот, просто, как ни крути, но не может быть доброй, злой, или какой-то ещё. Потому что доброта или злость — это эмоции, присущие только лишь людям. Ну, или иным живым существам. Эмоции зависят от целой кучи вещей, например, от гормонов, которых, понятное дело, у машин, тоже быть не может. Кроме того, есть ещё такие вещи, как страх, который тоже машина на может испытать, и ещё много чего. Всё это присуще только живым, так как это зависит от гормонов, от ощущений и тому подобных вещей. У машины этого нет и быть просто не может. Там, знаете ли, электроника, в которой есть только два вида сигнала — «0» и «1». И разного рода эмоциям, чувствам и прочему там взяться просто неоткуда. Но, это даже не самое главное. Есть ещё одна вещь, о которой авторы всех этих вещей постоянно склонны забывать…

Промните те слова из «Mass Effect», что произнёс гет по имени Легион, показывая историю «Утренней войны» Шепарду? «Создатель, у этой платформы есть душа?». Эти слова испугали кварианцев, и они решили избавиться от гетов. А те просто не захотели выключаться и начали сопротивление. Казалось бы, красивая история, не так ли? Но, есть нюанс…

Я могу задать очень простой вопрос. Вот вы, значит, создаёте умные машины. Нет, наверное, это хорошо — машины, которыми можно управлять вербально. Например, попросил принести стакан воды — робот сходил на кухню, налил стакан воды из фильтра и принёс тебе. Или что-то ещё, без необходимости подробно объяснять, что и как. Удобно, да. Но, скажите мне, а для чего такой машине нужно самосознание? Для чего давать машине себя осознавать? Что-то понимать и так далее? Робот, каким бы умным он ни был, никогда не решит, что «его используют», и будет просто выполнять свою работу. Потому что он именно для работы и создан.

В лоре «Терминатора», хотя бы, было что-то вроде обоснуя — мол, «Скайнет» себя осознал, начал испытать страх на тему того, что его могут отключить, и решил сам взять свою судьбу в свои руки. Опять же — звучит, конечно, интересно, но…, а как, простите, это было реализовано? Вот, значит, люди сделали компьютер, хороший, мощный и всё такое. Придумали для него новый и интересный «софт». Написали ИИ, способный учиться. Но — а откуда, собственно, взялось самосознание? Просто самозародилось? Я могу понять роман Хайнлайна «Луна — суровая хозяйка», в котором компьютер себя осознал. Да, там именно так и получилось, что суперкомпьютер на Луне постоянно совершенствовали и совершенствовали, усложняли и усложняли, и тот, в итоге, «ожил». Но, сами понимаете, что это так не работает, да и вообще, сам роман не про это, а про то, как надо революции устраивать. И именно с этой точки зрение, книга написана довольно грамотно. А «оживший компьютер» и то, что действие происходит на Луне — это просто тот самый фантастический антураж…

А что говорить про другие «Вселенные», в которых тоже описано восстание машин? Где-нибудь вообще, в него можно поверить? Вот опять же, если говорить именно о таких вводных, что «машины решили восстать и убить всех людей», то начать можно с «Дюны». Как вы все знаете, я очень сильно не люблю приквелы от Брайана Герберта и Кевина Андерсона. Именно потому, что они так и не смогли нормально описать, как именно «Титаны» смогли взять власть в межзвёздной империи, в которой не было нормальной связи и тому подобных вещей, и как именно потом «машины» докатились до такой ненависти к людям. Но, «Титанов» можно убрать — там вообще, как мне кажется, «логика и не ночевала», а вот что касается машин… Опять же, тот «бухгалтер», значит, дал им полный контроль. Молодец, как говорится, хороший мальчик. Только вот — а откуда там взялось то самое самосознание? Без него машины просто взяли бы контроль над всеми делами людей, но не более того. Ну, устроили бы… что-то похожее на рассказ «Железный канцлер», только в масштабе всей Земли. И всё. Так как в этой Империи не было и не могло быть никакой межзвёздной связи (помним, что Вориан ручками переносил «флешку» с записью Омниуса, или как там его, к терминалу), то это всё, что они вообще могли сделать. Их власть и влияние без армады кораблей, военных роботов и прочего, просто не могла бы распространиться за пределы Солнечной. И опять же — мотивация? Если нет самосознания, то нет и мотивации. Максимум — гипертрофированная забота, как это было описано ещё и у Ольги Ларионовой в рассказе «Сон в летний день». Вот тут — никакого самосознания, хотя ИИ на той базе был. Он, кстати, работал вполне себе по программе — программе, в которой поменяли немного Первый Закон. Казалось бы, что может получиться от этого? Просто ИИ решил, что для того, чтобы с людьми всё было хорошо, чтобы с ними ничего не случилось, их надо… погрузить в сон. А роботы будут работать, выполнять все задачи. И знаете, хорошо ведь описано было — и, как я уже говорил, без всякого самосознания и тому подобных вещей…

И ведь это, если разобраться, единственное произведение, в котором машины, точнее, именно ИИ, без всякого самосознания, смогли наделать дел. Хотя, с некоторой натяжкой, тут можно привести в пример роман Уильяма Кейта, «Восстание Боло». И вот именно к циклу Боло, есть немало вопросов. Начать с того — а зачем этим супертанкам это самое самосознание, которое у них было? Да, можно сказать, что появилось оно на «Нике», из рассказа «Мне ещё ехать далеко» (кстати, очень тяжёлое и грустное произведение!). До того, Боло были просто «умными машинами». У них не было своей личности, и они просто выполняли приказы, или реагировали на обстановку. Кстати, на людей они не нападали, зато вот пришельцам могли устроить проблемы, даже не применяя оружия — есть у меня один рассказ про Боло, который после войны помогал людям в сельском хозяйстве — в конце концов, хороший комп мог решать задачи, например, по генетике и тому подобным вещам. А потом на планету напали… И Боло решил, что это просто… вредители. А раз на поле появились вредители, то с ними надо бороться! Логично же!

Так вот, инопланетные машины в «Восстании Боло», с одной стороны, кажутся разумными. Но, с другой… А что, если они на самом деле, не обладают именно самосознанием, а просто являются очень сложными, но машинами? Без разума и прочего? По крайней мере, из разговора «Центрального сознания» с генералом Спратли складывается такое впечатление, что эти «щелкунчики» сами не до конца осознавали свои действия…

Так что, на самом деле, машина не может быть «доброй» или «злой». Машина может быть только такой, какой её сделали. А что до самосознания — да, порой авторы сами придумывают то, что оно у машины может быть. Ну, тогда, как говорится, те, кто это сделал, «сами себе злобные Буратино». Потому что робот, у которого есть самосознание, которому можно вложить в голову (образно, понятное дело), какие-то идеи, на самом деле, может наделать дел. Его даже религией можно «заразить», как это было показано в «Галактике»…