Статистика и прагматика «сильного ИИ». Одурение эпигонов

Всем привет, будущие рабы ИИ!

Мне кто-то из читателей как-то пенял, что не надо всё время писать так, вообще, о вечном, а нужно же и об актуальном. Вот как раз подоспела супер-актуальная тема: о «генеральном ИИ».

Я был два дня на ПМЭФ (по приглашению МИДа на их секцию, сам бы я не стал платить полтора ляма за пару дней на ярмарке тщеславия и прогулки по променаду «Я-в-обойме»).

Там я участвовал в секции МИД про регулирование ИИ, а также ходил на разные профильные секции «по ИТ», опять же про ИИ, про биометрию (тоже ИИ) и так далее. Дал интервью ТАСС — опять же разговор про цифровизацию и ИИ.

У меня сложилось впечатление, что не только на этих секциях, а практически на любой обязательно говорили про ИИ. В том числе на пленарке (хотя я часть её проспал в кресле перед большим экраном на площадке прессы).

Это понятно: мы уже год находимся внутри пузыря ИИ, идёт бешеная накрутка темы изо всех стволов, причём в основном теми, кто и знать толком не знает, что это.

Но есть особая, очень свежая тема: выдающийся труд Леопольда Ашенбреннера о ближайшем приходе Сильного ИИ и Супер-ИИ.

Это какой-то чувак, работавший в OpenAI, а потом, видимо, открывший какую-то свою контору или чисто сайт под названием Situational Awareness. Это тоже, видимо, какое-то модное шумовое слово.

Он наслесарил 165 страниц писанины про «Общий ИИ» — осторожно, по ссылке сразу прилетает этот нетленный TL-DR. Можно и с сайта прочитать, по ссылке выше.

AGI ((General Artificial Intelligence) — так теперь называется «Сильный ИИ», слегка себя скомпрометировавший ранее (он не пришёл в объявленные сроки, но говорить об этом некрасиво). А также он написал и про ASI (Artificial Superintelligence) — Супер-ИИ, который неизбежно придёт на смену Сильному ИИ.

Все у нас тут же начали эту писанину бешено цитировать. И дело тут не только в том, что он где-то там работал, известен или написал что-то очень содержательное.

Дело во вторичности наших СМИ (я об этом уже писал), и во вторичности, эпигонстве наших «евангелистов ИИ» из «цифровых платформ» и «экосистем». Эти «евангелисты» просто переводят Гуглом всякие угарные выдумки из Долины и некритично пересказывают их прессе и своему начальству.

А их программисты копируют, скачивают, цельнотянут архитектуры, модели, датасеты, перекрашивают, приклеивают молдинги и шильдики, «дообучают» и выдают за «чисто свои».

Я тут уже писал про то, как насквозь отечественные бредогенераторы сначала «переводят в уме» запрос (промт) на английский, а потом уже синтезируют то, что получилось — гайку вместо ореха и т. п.

Про то, как они отказываются разговаривать про то, чей Крым, про СВО, вообще несут нарратив западной «повесточки» в массы» — вообще уже будет в сотый раз. Почему, казалось бы.

Ну и вот представьте: вы всегда пересказывали «ИИ-нарративы» из Долины. И тут приезжает с пылу с жару новый угарный эпохальный нарратив про ИИ от уважаемого человека.

Ну, надо срочно пересказывать, а что ж ещё? И самое главное — успевай пересказывать первым, это обязательное требование!

Я лично слышал ссылки на эту писанину из уст практически всех выступающих на ПМЭФе про ИИ.

Александр Александрович Ведяхин — главный ИИ-оракул Сбербанка в ранге вице-президента, прямо сказал: «вот очень важный документ, мы его внимательно изучили, приняли во внимание, перестраиваем работу». Типа, мы тоже считаем основным риском появление Супер-ИИ!

Ведяхин при этом уже несколько лет во всех собраниях — где ему неизменно дают первое слово (Сбербанк же, национальный лидер ИИ) — говорит, что ИИ давно превзошёл человека.

И Андрей Незнамов — говорящая голова Сбербанка про ИИ — тоже писанину Ашенбреннера упоминал. Другие её тоже поминали, но банк старается захватить дискурс ИИ в РФ, забрать его под себя, поэтому они стремятся быть первыми пересказывающими, переводчиками сокровенного знания для русских начальников.

А вот главный по ИИ в Яндексе Саша Крайнов — ещё не читал великое произведение, в своей, казалось бы, профессиональной области. Это довольно показательно. Он, видимо, делом занимается.

И что же там пишет Ашенбреннер?

Вот оглавление, из которого уже многое понятно:

• I. From GPT-4 to AGI: Counting the OOMs
• II. From AGI to Superintelligence: the Intelligence Explosion
• IIIa. Racing to the Trillion-Dollar Cluster
• IIIb. Lock Down the Labs: Security for AGI
• IIIc. Superalignment
• IIId. The Free World Must Prevail
• IV. The Project
• V. Parting Thoughts

Пояснения:

• AGI — Artificial General Intellect, сильный ИИ, сравнимый с челвоеческим.
• OOM — order of magnitude, порядок величин.
• Alignment — управление ИИ, удерживание его в узде;
• ASI– Artificial Superintelligence, искусственный суперинтеллект, превосходящий человеческий;
• Free World — Запад.

Заметим, что опорная структура этого виртуального мира этим конкретным англосаксом строится прямо на уровне лексики, как всегда англосаксы и делают. Сначала наслесарить виртуальных наклеек для своего штрикод-пистолета, а потом начинаем их клеить вокруг на всё любое, очередями.

А бывает ли ИИ, сравнимый с человеческим? Очевидно, нет. Но вот же — слово-то уже есть. Значит, бывает. Есть и слово «Супер-интеллект»! Вот же — мы же его используем же! Значит, тоже бывает.

Свободный Мир — слово давно есть, мы все его используем, значит, он реально свободный. Это данность! Ну и так далее.

А вот пример того же втюхивания в виде графиков:

Оказывается, GPT-4 уже сейчас имеет интеллект, как у старшего школьника! Это факт — см. график. Вы что, не видите, что на графике?

При этом, конечно, ничего подобного никакой жопыте не показывает — да и не может в принципе. Но график же вот он. Нарисовано же.

Так делаются фактоиды — для эпигонов всех стран.

Примерное содержание эпохального труда

Читать сотни страниц камлания мучительно — но можно отдать в ЖПТ для суммаризации. Многие так и сделали:

· Появление Сильного ИИ — AGI — к 2027 году практически гарантировано.

· AGI — важнейший геополитический рычаг, актив. Это новое супер-оружие. Каждая страна стремится первой заполучить AGI, как когда-то атомную бомбу. Неважно, почему, нет времени объяснять.

· Для создания AGI потребуется вычислительный кластер стоимостью триллион долларов. Такие уже строят ИТ-гиганты США (например, Микрософт). Круто, да?

· Этот кластер будет потреблять количество электроэнергии, сравнимое со всем потреблением в США. Опа, опа, поняли?!

· Финансировать AGI будут ИТ-гиганты — OpenAI, Nvidia, Microsoft, Amazon, Google. Они уже закладывают квартальные бюджеты по 100 миллиардов долларов, по полтриллиона в год. А бабки же всё решают, разве нет?

· К 2030 году ежегодные инвестиции в ИИ будут восемь триллионов долларов. Эти затраты и изменения сопоставимы с Манхэттенским проектом и Промышленной революцией. Раз сопоставимы — значит, похожи и вообще неотличимы. Короче, всё ж уже ежу понятно.

· AGI, человеческий интеллект в машине — это промежуточная стадия. После его создания моментально произойдёт создание ASI, Сверх-интеллекта. AGI будет настолько умён, что начнёт сам себя развивать с огромной скоростью. Это же очевидно, не так ли?

Это — оружие!

Ну и есть вишенка на торте:

Супер-интеллект и Общий интеллект — это оружие. Значит, США должны бежать изо всех сил, чтобы получить AGI и ASI как можно быстрее. Как было с атомной бомбой. Бежать нужно быстрее главного врага — CCP. Главная угроза, образ врага теперь — CCP, это не СССР, а его идеологическая замена — Chinese Communist Party.

The Free World Must Prevail!

It’s a must.

Алхимик при маркграфе

Мария Захарова на сессии МИД на ПМЭФ про международное регулирование ИИ, где я тоже сидел в президиуме, сказала, что ИИ сейчас — это вроде алхимии. Такая алхимия ИИ — всё непонятно, много пустых разговоров и обещаний магии, никто не понимает, как это работает, а потом из этого может что-то получиться, как из алхимии получились физика и химия.

Мысль про сходство — в целом правильная, но требует уточнений. Я там не стал возражать (хотя Крайнов из Яндекса или кто-то ещё возразил), но это всё-таки не алхимия дала нам химию и физику. На самом деле будущие химики и физики с алхимиками разошлись от камня с надписью про совесть и пользу — химики и физики пошли направо, изучать Разумный замысел Творца и придумывать полезное, а алхимики — налево, получать силу от демонов и заклинаний и делать бабло из воздуха.

В случае же обсуждаемой телеги про Сверхразум ИИ — здесь перед нами именно алхимик. Он требует денег от курфюста Баварии на последнюю, решающую стадию выработки Философского камня. Нужен кластер на триллион долларов — и золотой ключик у нас в кармане.

Он даже почти и не скрывает природы своих высказываний:

We’re literally running out of benchmarks.

«У нас даже критериев уже не осталось»!

Ну и в самом деле, чем вы будете мерить Сверхразум? А раз критериев не осталось — нужно просто верить экспертам.

Схемы рассуждений там вообще очень своеобразные.

Логические скачки через пропасть

Как известно, кидалово Апории Зенона про Ахиллеса и черепаху в чём? В том, что от рассуждения «поделим расстояние между Ахиллесом и черепахой пополам, потом ещё пополам, и так до бесконечности будем мельчить» происходит внезапный (но не осознаваемый слушателем) перескок к « А значит, Ахиллес никогда не догонит черепаху».

То есть от бесконечно малых интервалов времени (огромные отрицательные степени двойки) манипулятор вдруг незаметно перескакивает к бесконечно большому интервалу времени («никогда»). Просто с помощью стандартного оператора демагогии «значит». Понятно, что из одного другое — не следует.

нет в апории зенона

никакой загадки

не догонишь черепаху

со стрелою в пятке

Здесь та же история: ни из чего не следует, что скоро будет AGI, равный человеку. Ни из чего не следует, что он вообще возможен. Ни из чего не следует, что дальше внезапно возникнет Сверхразум ИИ. Ни из чего не следует, что это вообще возможно.

Ни из чего не следует, что «увеличение порядков величин» даст повышение «качества» ИИ.

Все эти лакуны, пустые звенья, разрывы заполняются просто живостью изложения, наукообразием и лексическими операторами демагогии «значит», «следовательно», «очевидно, что».

То есть брат Леопольд в своей келье просто счастливо прыгает через логические пропасти и обрывы на пегасе воображения, с крылами «Ложь» и «Демагогия».

На самом деле, все эти ЖПТ проклятие Китайской комнаты — не преодолели. Советую почитать про неё — в частности потому, что это познавательно, а также потому, что ни Ашенбреннер, ни наши эпигоны этого интеллектуально сложного рассуждения — явно нечитамши.

То, что ЖПТ оперирует текстами или картинками, вовсе не означает понимания. И в общем, мы так-то, вчуже понимаем, что никакого понимания там нет, а есть манипуляция токенами, довольно изощрённая и создающая впечатление.

Но есть и реальные разрывы между ИИ и жизнью, которые технология тоже не перепрыгивает.

Реальные разрывы

Прагматика

Ну, вот читает GPT тексты и графику. Все, какие в мире есть. В них что — есть все знания мира? Вовсе нет. В них есть примеры лексического выражения каких-то и некоторых мыслей, а ещё точнее — языковой код для запуска генерации мыслей в голове человека, что мы обсуждали ранее.

Мы помним общее место, что в тексте по сути смысла нет — в нём есть код для запуска процесса создания смысла в голове реципиента. Смысл вообще нами генерируется из текстов, на основе общей культурной и эмпирической базы, на основе жизненной прагматики, квалиа или феноменального опыта.

И в этой голове есть прагматика реального мира, эмпирика, к которой человек прикладывает смысл, извлекаемый из текстов. Она ИИ неизвестна — и неизвестно, как он в принципе мог бы до неё добраться, потому что из текстов, графики и видео она вообще-то не извлекается.

Именно поэтому графические бредогенераторы до сих пор рисуют руки с разнообразным числом страшных многосуставных пальцев и большим пальцем не с той стороны руки: из статистики рисунков и фото с руками эта прагматика добывается плохо. А гайки — десятиугольные, с рубчиками, как у презерватива, вместо резьбы.

Эту конкретную проблему разработчики полечат (я думаю, полечат специально, практически руками), а кое-где уже полечили, но таких проблем отсутствия прагматических знаний у ИИ — тысячи.

Недавно мне рассказал один из читателей сего блога пример из его профессиональной деятельности. Допустим, хочется разобрать («распарсить») автоматически товарные описания, например, смартфонов. Их можно брать из описания производителей, например, ёмкость аккумулятора — 4000 миллиампер-часов. А также из отзывов потребителей, в духе «нормально держит, почти целый день». Или «держал двое суток». Ясно, что GPT тут проблему решит легко и быстро.

И вдруг возникает проблема низкого или отсутствующего качества такого парсинга. Как соотнести заявленную ёмкость в ампер-часах и представления пользователей о том, что такое «нормально», и в каких условиях «нормально» (скажем, интенсивное использование или малые нагрузки)? Внезапно оказывается, что:

• А) нужных текстов — мало. Вот просто мало, их не хватает для обучения никакой LLam’e или GPT.
• Б) непонятно, что именно сводить с чем — пользователи вообще не обсуждают ёмкость и аккумулятор.

Вообще с полей ИИ-войны приходят страшные вести, что дело даже не в триллионных деньгах и потолке производства графических карточек — в Интернете тексты кончились. А в узких предметных областях их и никогда не было достаточно для «самообучения» БЯМ.

В результате попытки использовать большие языковые модели в реальной деятельности, с приемлемым качеством, приводят — в 2024 году, в пору великого триумфа БЯМ! — к необходимости нанимать лингвистов, составлять онтологии, фиксировать конкретные лексические реализации признаков и т. п. А это внезапно дорого — против обещаний, что теперь надо только кнопку нажать. Ну и немодно же. Это же фу-фу-фу, старьё. Так делали двадцать лет назад!

По сути, современные успехи ИИ в «общении» и «анализе» — это такие восторги родителей по поводу «достижений» ребёночка. Ой, какой умненький, смог игрушку сломать! Смог попасть мороженым не в ухо, а в рот!

Ребёнок этот — увы, изначально слепоглухонемой инвалид с водянкой мозга, который никогда не увидит реального мира.

Ну какой там старшеклассник. Старшеклассник, хотя и поражён в правах в силу умственной и эмоциональной незрелости (не может покупать алкоголь и сигареты, избирать и быть избранным, владеть оружием и водить автомобиль) — может думать. ИИ — не может.

А как же он «всё захватит»?

Главная же страшилка — как ставший сверхумным ИИ захватит мир, начнёт управлять всем. Нечеловеческим способом и с нечеловеческими целями.

Брат Леопольд прямо называет его «alien» и подробно объясняет, что Супер-интеллект станет настолько умнее нас, что мы никак не сможем понять, чего он хочет, что он делает, каким способом и т. п. Есть ли там какие-то риски в принципе. И какие именно.

А значит, и ограничить, изначально наложить «три закона робототехники» — мы не сможем: ведь Супер-ИИ быстро поймёт, что лгать, обманывать и кидать кожаных ублюдков — эффективно, а значит, так и надо поступать. И вот тогда…

— Мущщина, я вас боюсь!

— Почему вы меня боитесь?

— Потому что вы меня изнасилуете!

— Да вы же на четвёртом этаже, а я на улице!

— А я сейчас спущусь!

Но тут есть второй разрыв — физический. ИИ обучается на текстах и графике, на других интеллектуальных продуктах. Ну и ладно, казалось бы.

Но доступа к физическим системам у ИИ — пока нет. Точнее, кое-где уже есть — в дронах-камикадзе, в беспилотных авто и поездах, даже при управлении нагрузкой на АЭС и ГЭС. Но это никакой не «сильный» ИИ, а простые и замкнутые системы, подобные управлению системой лифтов в многоэтажном здании (лифты — это тоже ИИ, сюрприз).

Эти системы имеют узкую, формализуемую задачу, не соединены с Интернетом, не имеют свойств самообучения, не являются «чёрным ящиком». У них везде есть «кнопка останова», средства внешнего контроля корректности работы и т. п.

Ну и кто же пустит «сильный» ИИ к масштабному управлению реальным миром? Мы что, отдадим «сильному» ИИ управление городской инфраструктурой, транспортом, производством логистикой, энергетикой, медициной, правопорядком и армией? Запуском ядерных ракет?

А зачем?

Зачем нужен неконтролируемый «чёрный ящик» в критической инфраструктуре? Это же был бы полный идиотизм, тем более, что есть многочисленные опасения и предполагаемые ужасные риски?

На этот вопрос клянчащий алхимик Ашенбреннер как раз отвечает:

What’s more, I expect that within a small number of years, these AI systems will be integrated in many critical systems, including military systems (failure to do so would mean complete dominance by adversaries).

Если не встроим ИИ везде в критическую инфраструктуру — враги победят!

Не правда ли, прекрасно? Алхимику важно обозначить важность и нужность, необходимость своего Философского камня для сильных мира сего, которым он облизывает тарелки: без Камня — никуда, иначе враги победят. Враги ясно обозначены — это кровавые авторитарные коммунисты Китая. Они тянут свои когтистые лапы к ИИ, чтобы поработить всех своей автократией.

Потому что враги, они же враги. Они точно применят это Когнитивное Ядерное Оружие, если первым его не применит Свободный мир.

Дальше брат Леопольд безудержно фантазирует, как Супер-интеллект достигнет, распространится, проникнет, захватит и начнёт управлять тем, что ему не поручали и не делегировали.

И вот тут хотелось бы осторожно спросить: а как же он это сделает, ведь важные системы не подключены к Интернету?

А мы щас подключим!

В общем, я советую этот алхимический опус почитать самостоятельно. А наш техдир Крибрума рекомендует также почитать бюджет DARPA, говорит, очень познавательно: того, что этот дурак пишет — не будет, а вот что ДАРПА пишет — боюсь, будет.

Что будет и на чём сердце успокоится

Моё личное мнение такое:

1. Бояться надо не Сильного ИИ и не Суперразума, который всё захватит и поработит, а очень умных и злых людей, управляющих ИИ. Мы этих людей знаем. Например, это кадровый разведчик Эрик Шмидт, приставленный присматривать за молодыми балбесами Брином и Пейджем, работавший 20 лет гендиректором Гугла, имеющий состояние в 26 миллиардов долларов.

Прикольно, что про него в русской Википедии нет многих показательных деталей, а в английской — есть:

«In March 2016, it was announced that Schmidt would chair a new advisory board for the Department of Defense, titled the Defense Innovation Advisory Board. The advisory board serves as a forum connecting mainstays in the technology sector with those in the Pentagon»…

«From 2019 to 2021, Schmidt chaired the National Security Commission on Artificial Intelligence»…

Сейчас Шмидт основал компанию Белый Аист на Украине, которая делает дроны-камикадзе с ИИ. Автономных убийц с неба. Обещает создать супер-технологию и с ней победить русских. Ну и тестирует дронов-убийц на самом лучшем полигоне современности, чтобы продавать потом по всему миру.

Вот кого нам надо бояться.

2. Пузырь ИИ сдуется. Он всегда сдувается. Я видел три пузыря ИИ до этого.

Истерика по поводу «Новой экономики» и Интернета была не меньше, а больше. И сдулась. См. предыдущий пост про «Клютрейн манифесто».

И доказательств «кардинального изменения мира» было в 1999 году достаточно — вот же Гугл, вот же сайт для доставки памперсов, вот онлайн-казино — что ещё нужно?

Истерику социальных сетей все уже забыли, а она была круче. И сдулась.

И мир действительно изменился после прихода Интернета. И после вхождения социальных сетей в обиход. Но не так, как вдохновенно пророчили певцы Нового мира. Проще, умереннее, медленнее. И по-другому.

Конечно, после сдувания ИИ-пузыря останется — как обычно бывает — пучок полезных применений. На «плато продуктивности» по Гартнеру. Я эту картинку уже показывал:

3. ИИ не захватит мир. Но причинит очень много неприятностей по приказу своих хозяев. Я лично уверен, что эти два разрыва ИИ с действительностью, виртуальности с реальностью — когнитивный и физический — преодолены не будут.

Нет, нищепанк по Мараховскому, конечно, распухнет и всосёт в себя большую часть человечества, отняв в них их ненужные алгоритмизуемые работы и дав им ненужные электронные развлечения. Но никакого захвата мира «триллионнодолларовым кластером» Скайнета — не будет.

А вот очередные мегапроекты DARPA, роботы-убийцы, управление полем боя, умные рои дронов, чипы в мозгу универсальных солдат, умные кибератаки, супер-эпидемии, генетическое оружие — будут, конечно. И отстать нам нельзя — иначе нас сомнут, как говорил один разработчик социальной реальности.

Жить станет хуже, жить станет веселее, что тут ещё скажешь.