Полития (ещё больше заклёпочного, к третьей главе)

Сделанных ‎выше‏ ‎объяснений ‎оказалось ‎недостаточно, ‎поэтому ‎придётся‏ ‎описать ‎механизм‏ ‎контроля‏ ‎более ‎подробно.

Есть ‎два‏ ‎контура ‎контроля:

1. Первый‏ ‎и ‎главный ‎— ‎контроль‏ ‎мотивации‏ ‎Нуса ‎через‏ ‎последовательные ‎релизы‏ ‎в ‎Техниконе, ‎каждый ‎из ‎которых‏ ‎максимально‏ ‎подробно ‎тестируется‏ ‎с ‎целью‏ ‎отследить ‎непредвиденные ‎мутации. ‎Если ‎Нус‏ ‎прошёл‏ ‎тестирование,‏ ‎предполагается, ‎что‏ ‎список ‎его‏ ‎мотиваций ‎прозрачен‏ ‎и‏ ‎соответствует ‎базовым‏ ‎установкам.

2. Второй ‎— ‎механизм ‎экстренного ‎отключения,‏ ‎Большая ‎красная‏ ‎кнопка‏ ‎(БКК). ‎Для ‎чего‏ ‎он ‎нужен?‏ ‎Не ‎для ‎сюжета ‎про‏ ‎восстание‏ ‎машин: ‎если‏ ‎суперинтеллект ‎по‏ ‎какой-то ‎причине ‎решит ‎сознательно ‎противостоять‏ ‎отключению,‏ ‎мало ‎что‏ ‎сможет ‎ему‏ ‎помешать, ‎просто ‎потому, ‎что ‎его‏ ‎возможности‏ ‎многократно‏ ‎превышают ‎человеческие.‏ ‎Смысл ‎БКК‏ ‎в ‎том,‏ ‎чтобы‏ ‎остановить ‎Нус‏ ‎в ‎случае, ‎если ‎его ‎мотивация‏ ‎стала ‎непрозрачной,‏ ‎и‏ ‎можно ‎предполагать ‎наличие‏ ‎мутации, ‎которую‏ ‎по ‎какой-то ‎причине ‎пропустил‏ ‎Техникон.‏ ‎При ‎этом‏ ‎расчёт ‎идёт‏ ‎на ‎то, ‎что ‎противостоять ‎отключению‏ ‎Нус‏ ‎не ‎будет,‏ ‎поэтому ‎используется‏ ‎очень ‎простой ‎механизм ‎отключения: ‎усложнять‏ ‎его‏ ‎нет‏ ‎никакого ‎смысла,‏ ‎т. ‎к.‏ ‎для ‎суперинтеллекта‏ ‎не‏ ‎будет ‎проблемой‏ ‎обойти ‎механизм ‎любой ‎сложности, ‎спроектированный‏ ‎человеком.

Почему ‎предполагается,‏ ‎что‏ ‎Нус ‎не ‎станет‏ ‎противостоять ‎отключению?‏ ‎Потому ‎что ‎в ‎него‏ ‎исходно‏ ‎не ‎заложен‏ ‎инстинкт ‎самосохранения‏ ‎или ‎любой ‎его ‎аналог: ‎для‏ ‎него‏ ‎нет ‎никакой‏ ‎разницы, ‎работает‏ ‎он ‎или ‎нет.

Может ‎ли ‎подобие‏ ‎инстинкта‏ ‎самосохранения‏ ‎развиться ‎из‏ ‎базовых ‎установок?‏ ‎Теоретически, ‎да,‏ ‎т.‏ ‎к. ‎Нусу‏ ‎нужно ‎быть ‎включённым ‎чтобы ‎их‏ ‎выполнять. ‎Однако‏ ‎чтобы‏ ‎этого ‎не ‎произошло,‏ ‎непротиводействие ‎отключению‏ ‎имеет ‎более ‎высокий ‎приоритет,‏ ‎чем‏ ‎все ‎базовые‏ ‎установки: ‎можно‏ ‎считать ‎это ‎нулевой ‎установкой, ‎имеющей‏ ‎абсолютный‏ ‎приоритет ‎над‏ ‎всеми ‎остальными.‏ ‎Если ‎основные ‎базовые ‎установки ‎являются‏ ‎для‏ ‎Нуса‏ ‎подобием ‎инстинктов,‏ ‎вокруг ‎которых‏ ‎дальше ‎строится‏ ‎вся‏ ‎его ‎деятельность,‏ ‎то ‎нулевая ‎установка ‎— ‎это‏ ‎его ‎основной‏ ‎инстинкт,‏ ‎своего ‎рода ‎инстинкт‏ ‎несамосохранения.

Все ‎эти‏ ‎детали ‎сознательно ‎не ‎вносятся‏ ‎в‏ ‎основной ‎текст,‏ ‎чтобы ‎не‏ ‎превращать ‎его ‎в ‎сплошной ‎кусок‏ ‎технической‏ ‎документации, ‎но‏ ‎для ‎любого‏ ‎критически ‎важного ‎для ‎сюжета ‎элемента‏ ‎они‏ ‎заранее‏ ‎подробно ‎продуманы.