Полития (заклёпочное, к третьей главе)

3-я ‎глава‏ ‎сразу ‎вызвала ‎кучу ‎вопросов ‎заклёпочного‏ ‎толка ‎по‏ ‎механизму‏ ‎работы ‎Большой ‎красной‏ ‎кнопки ‎(БКК).

Поскольку,‏ ‎как ‎сразу ‎же ‎и‏ ‎заявлялось,‏ ‎жанр ‎у‏ ‎нас ‎—‏ ‎близко ‎к ‎hard ‎sci-fi ‎(то‏ ‎есть‏ ‎для ‎каждого‏ ‎из ‎ключевых‏ ‎элементов ‎НФ-части ‎должно ‎существовать ‎железное‏ ‎объяснение),‏ ‎но‏ ‎излишнего ‎занудства‏ ‎и ‎заклёпочничества‏ ‎мы ‎при‏ ‎этом‏ ‎избегаем, ‎чтобы‏ ‎не ‎превращать ‎роман ‎в ‎сплошную‏ ‎распечатку ‎кода‏ ‎и‏ ‎команд ‎ОС, ‎вынесем‏ ‎занудно-заклёпочную ‎часть‏ ‎в ‎отдельный ‎пост.

1. Почему ‎Python?‏ ‎Тут‏ ‎вроде ‎всё‏ ‎должно ‎быть‏ ‎максимально ‎очевидно, ‎но ‎почему-то ‎не‏ ‎было:‏ ‎это ‎язык,‏ ‎на ‎котором‏ ‎написан ‎ChatGPT, ‎и ‎который ‎вообще‏ ‎чаще‏ ‎всего‏ ‎используется ‎при‏ ‎написании ‎всего,‏ ‎что ‎связано‏ ‎с‏ ‎ИИ ‎и‏ ‎обработкой ‎биг ‎даты.

2. Что ‎такое ‎БКК?‏ ‎Это ‎не‏ ‎инструкция‏ ‎Нуса, ‎это ‎очень‏ ‎простой ‎программный‏ ‎рубильник, ‎который ‎стоит ‎выше‏ ‎уровня‏ ‎Нуса ‎и‏ ‎при ‎необходимости‏ ‎завершает ‎его ‎работу. ‎Предположим, ‎он‏ ‎реализован‏ ‎на ‎уровне‏ ‎операционной ‎системы‏ ‎(хотя ‎можно ‎такой ‎же ‎зашить‏ ‎в‏ ‎код‏ ‎Нуса, ‎на‏ ‎уровне, ‎который‏ ‎он ‎не‏ ‎имеет‏ ‎права ‎переписывать,‏ ‎смысл ‎от ‎этого ‎поменяется ‎не‏ ‎сильно). ‎В‏ ‎качестве‏ ‎ОС ‎используется ‎какая-то‏ ‎стабильная ‎версия‏ ‎Linux, ‎которая ‎никогда ‎не‏ ‎меняется‏ ‎и ‎устанавливается‏ ‎из ‎готового‏ ‎образа, ‎где ‎правами ‎администраторского ‎доступа‏ ‎обладает‏ ‎персонал ‎Техникона,‏ ‎но ‎не‏ ‎Нус. ‎Тогда ‎БКК ‎— ‎это‏ ‎скрипт‏ ‎с‏ ‎правами ‎админа,‏ ‎который ‎можно‏ ‎вызвать ‎извне,‏ ‎и‏ ‎который ‎просто‏ ‎завершает ‎работу ‎приложения ‎Нуса.

3. Если ‎Нус‏ ‎— ‎суперинтеллект,‏ ‎может‏ ‎ли ‎он ‎это‏ ‎обойти? ‎Теоретически‏ ‎— ‎да, ‎и ‎самый‏ ‎простой‏ ‎способ ‎для‏ ‎него ‎—‏ ‎создать ‎запасной ‎кластер, ‎о ‎котором‏ ‎неизвестно‏ ‎Техникону, ‎и‏ ‎установить ‎туда‏ ‎другой ‎образ ‎ОС, ‎где ‎нет‏ ‎кода‏ ‎БКК.‏ ‎В ‎этом‏ ‎случае, ‎при‏ ‎срабатывании ‎БКК,‏ ‎отключится‏ ‎основной ‎продуктовый‏ ‎кластер, ‎но ‎не ‎запасной. ‎Забегая‏ ‎вперёд, ‎такая‏ ‎версия‏ ‎будет ‎дальше ‎рассматриваться‏ ‎как ‎одна‏ ‎из ‎основных.

4. Насколько ‎вероятно, ‎что‏ ‎Нус‏ ‎вообще ‎захочет‏ ‎это ‎сделать?‏ ‎Для ‎этого ‎нужно, ‎чтобы ‎Техникон‏ ‎на‏ ‎каком-то ‎этапе‏ ‎пропустил ‎кардинальное‏ ‎изменение ‎внутренних ‎приоритетов ‎Нуса. ‎Если‏ ‎для‏ ‎первого‏ ‎релиза ‎соответствие‏ ‎реальной ‎логики‏ ‎функционирования ‎базовым‏ ‎установкам‏ ‎задавалось ‎и‏ ‎проверялось ‎исходной ‎технической ‎командой, ‎это‏ ‎значит, ‎что‏ ‎первая‏ ‎версия ‎Нуса ‎не‏ ‎могла ‎бы‏ ‎сама ‎захотеть ‎себя ‎так‏ ‎изменить,‏ ‎как ‎и‏ ‎следующая, ‎если‏ ‎её ‎логика ‎функционирования ‎не ‎поменялась,‏ ‎и‏ ‎т. ‎д.‏ ‎Такое ‎изменение‏ ‎поведения ‎могло ‎бы ‎возникнуть ‎случайно‏ ‎в‏ ‎качестве‏ ‎накопившейся ‎со‏ ‎временем ‎ошибки,‏ ‎однако ‎в‏ ‎этом‏ ‎случае ‎она‏ ‎с ‎большой ‎вероятностью ‎была ‎бы‏ ‎замечена ‎на‏ ‎каком-то‏ ‎этапе ‎по ‎изменившимся‏ ‎паттернам ‎поведения.‏ ‎Тем ‎не ‎менее, ‎такая‏ ‎версия‏ ‎тоже ‎будет‏ ‎отрабатываться ‎—‏ ‎собственно, ‎об ‎этом ‎в ‎конце‏ ‎главы‏ ‎и ‎размышляет‏ ‎инквизитор.

UPD.: ‎Поскольку‏ ‎озвученных ‎выше ‎комментариев ‎оказалось ‎недостаточно,‏ ‎надо‏ ‎добавить‏ ‎следующее. ‎Наибольшее‏ ‎возражение ‎почему-то‏ ‎вызывает ‎тот‏ ‎факт,‏ ‎что ‎выключатель‏ ‎со ‎скриптом ‎на ‎Python ‎легко‏ ‎обходится ‎сверхинтеллектом‏ ‎(о‏ ‎чём ‎собственно ‎написано‏ ‎выше). ‎Точно‏ ‎так ‎же ‎им ‎легко‏ ‎обходится‏ ‎абсолютно ‎любой‏ ‎выключатель, ‎хоть‏ ‎механическая ‎кнопка ‎с ‎атомным ‎зарядом:‏ ‎для‏ ‎этого ‎достаточно‏ ‎превентивно ‎убить‏ ‎человека, ‎который ‎мог ‎бы ‎нажать‏ ‎кнопку.‏ ‎Если‏ ‎возможности ‎ИИ‏ ‎на ‎порядки‏ ‎превышают ‎человеческие,‏ ‎заведомо‏ ‎нет ‎способа‏ ‎отключить ‎его ‎в ‎случае, ‎если‏ ‎он ‎сознательно‏ ‎этому‏ ‎противостоит. ‎Однако ‎базовая‏ ‎идея ‎в‏ ‎том, ‎что ‎именно ‎такая‏ ‎мотивация‏ ‎у ‎него‏ ‎возникнуть ‎не‏ ‎должна ‎ни ‎на ‎каком ‎этапе,‏ ‎т.‏ ‎к. ‎он‏ ‎в ‎первую‏ ‎очередь ‎не ‎обладает ‎инстинктом ‎самосохранения:‏ ‎собственно,‏ ‎ему‏ ‎вообще ‎нет‏ ‎разницы, ‎включён‏ ‎он ‎или‏ ‎выключен.‏ ‎Автоматический ‎перенос‏ ‎концепции ‎самосохранения ‎на ‎ИИ ‎может‏ ‎идти ‎только‏ ‎от‏ ‎непонимания ‎его ‎природы:‏ ‎это ‎в‏ ‎первую ‎очередь ‎не ‎живое‏ ‎существо,‏ ‎и ‎у‏ ‎него ‎нет‏ ‎присущих ‎живому ‎существу ‎инстинктов ‎и‏ ‎стремлений.‏ ‎А ‎отсутствие‏ ‎инстинкта ‎самосохранения‏ ‎должно ‎быть ‎(и ‎будет) ‎первоочередным‏ ‎приоритетом‏ ‎при‏ ‎построении ‎суперинтеллекта,‏ ‎сама ‎возможность‏ ‎возникновения ‎такого‏ ‎инстинкта‏ ‎или ‎любого‏ ‎его ‎подобия ‎должна ‎считаться ‎фатальной‏ ‎угрозой ‎для‏ ‎человечества‏ ‎и ‎именно ‎поэтому‏ ‎никогда ‎не‏ ‎будет ‎заложена ‎в ‎ИИ.