Четвертая мировая. Сценарии

отметили
23
человека
в архиве
Четвертая мировая. Сценарии
Следите за кибератаками? Россия, США, Китай, объекты стратегического назначения и несчастная Хиллари… Кажется, все, о чем так долго говорили футурологи, свершилось! В нашем насквозь технологизированном мире боевые действия перемещаются с реальных полей сражений на поля виртуальные — за серверы, базы данных, коды доступа и т. д. Завладейте компьютерной инфраструктурой противника, и он повержен. Ни одно современное государство-Голиаф не выдержит удара камнем, летящим из этой пращи.

Таким выглядит наш новый Армагеддон, но это лишь обман зрения. Кибервойна, о которой нас начинают потихоньку информировать, все еще продолжает оставаться геополитической. Как и прежде, предполагается, что США будут воевать против России, Россия — против США, а Китай — вместе со всеми против всех. Но правда в том, что такая война никому больше не нужна. Это война престарелых (по крайней мере, интеллектуально) генералов, которые, как говаривала одна мудрая графиня, «слишком долго жили в Советском Союзе», или, если угодно, в состоянии холодной войны.

Все изменилось. Да, на этот раз любимец американских студентов — Берни Сандерс — проиграл, но к следующим выборам и эти студенты вырастут, и новые появятся, так что какой-нибудь демагог-Сандерс точно победит. Про наших студентов я и вовсе молчу — если они и хотят завоевать мир, то только личной биографией и где-нибудь в приличном заграничном месте. Жители глобального сетевого пространства не знают и не хотят знать геополитики. Плевать на нее хотели и транснациональные корпорации, в особенности Google, Apple, Microsoft и Facebook.

Самой этой сущности — «геополитика» — больше нет. Остались только цифра и человек — два реальных конкурента за мировое господство, и Четвертая мировая война развернется между ними. По идее, Четвертой мировой, конечно, должна предшествовать Третья — глобальная война с террором (см. «Четвертая мировая. Начало»). Но, с учетом торжествующего политического мракобесия и общего идиотизма, Третью мировую мы можем и проскочить.

Вероятные сценарии старта Четвертой мировой не блещут особым изяществом, но их, вероятно, тоже необходимо рассмотреть.

Сценарий первый: кибервойна

Когда мы слышим что-то про кибератаки, мы представляем себе опустошенную кредитную карту или взломанную электронную почту, но, поверьте, это сущая ерунда. Да, киберпреступность — это уже триллионная индустрия, и ее обороты давно превышают доходы наркокартелей, но военные кибератаки — это совсем другое дело. В военных целях разрабатывается кибероружие, направленное на инфраструктурные объекты: энергосистема, транспортная сеть, финансовый сектор и др., — а все это куда серьезнее жалкой кредитки или личной переписки.

Представьте, что враг лишает нас электричества, парализует транспорт и обвально девальвирует нашу валюту (например, эмитируя на банковские счета граждан неограниченные суммы денег). И дело не в том, что без электричества, например, мы не сможем посмотреть киношку на ночь, а в том, что из-за той самой технологизации нашей жизни за год от голода и болезней умрет девять из десяти человек. Мы лишимся воды, тепла, канализации, лекарств, остановится производство пищевой продукции, горючих веществ и т. д. Все будет настолько плохо, что даже зомби не понадобятся. Это ведь только кажется, что риск минимальный: мол, как-то же мы справлялись с отключением света в нашей квартире и никто не умер! Но мы никогда не справлялись с отключением всего электричества у всех сразу.

Но кому под силу такая задача — лишить целую страну всей ее инфраструктуры?! Вопрос на самом деле неверный и даже глупый. Правильный вопрос — как сохранить хоть что-то в мире в работоспособном состоянии после того, как соответствующее кибероружие «выстрелит»? Именно с этой проблемой и столкнулись наши американо-израильские коллеги, ударив компьютерным червем Stuxnet по иранским ядерным реакторам. Это был первый случай в истории, когда использовался не просто вирус-шпион — штука теперь уже совершенно тривиальная, а специальная программа, заточенная на физическое уничтожение реальных производственных агрегатов.

Реконструкция этой истории, чуть не закончившейся мировой катастрофой, выглядит следующим образом. Вероятно, некий шпион-диверсант пронес на охраняемую территорию иранского завода в Натанзе флешку со Stuxnet и запустил вирус в локальную компьютерную сеть. Для входа в систему червю требовался только Windows, чьи так называемые «уязвимости нулевого уровня» он знал. Вот почему, кстати говоря, не стоит удивляться требованиям Ангелы Меркель не гонять европейский интернет-трафик через американские серверы, а также отечественной инициативе по созданию собственной операционной системы. Все это абсолютно бессмысленно и мертвому припарка, но сама по себе эта политическая паника, поверьте, отнюдь не беспочвенна.

Впрочем, вернемся в Иран. Попав во внутреннюю сеть, этот виртуальный зверек обнаружил контроллер Siemens S7-300, работающий на газовой центрифуге по обогащению урана, и спектакль начался. Вирус определил программы, которые сигнализируют сотрудникам предприятия о состоянии центрифуг, и перекодировал их. Теперь работники завода уже не могли видеть, что происходит с центрифугами на самом деле — им казалось, что реактор работает идеально. Надев на операторов эти своеобразные шоры, вирус принялся жечь центрифуги: он то разгонял их, то резко замедлял, и оборудование выходило из строя. Всего за десять месяцев Stuxnet сжег таким образом от 1000 до 2000 центрифуг.

Ирония в том, что именно жертва нынешнего киберскандала — тогдашняя госсекретарь США Хиллари Клинтон — победоносно заявила в 2011 году, что проект по разработке вируса Stuxnet оказался успешным и иранская ядерная программа отброшена на годы назад. Остается только догадываться, что происходит в голове у этой женщины, если она, зная все это, решается пользоваться личной почтой для рабочей переписки… Кажется, политики совершенно не соображают, о чем говорят и с чем имеют дело. Им уже давно пора переходить на молокопись и почтовых голубей!

Впрочем, история Stuxnet на этом не заканчивается. Напротив, начинается самое интересное. Никому и в голову не пришло, что этот киберзверь не удержится в клетке. Через интернет вирус покинул пределы завода в Натанзе и заразил тысячи компьютеров по всему миру. Нас тогда спасло только то, что Stuxnet всюду искал контроллер Siemens S7-300, а таковых на его пути больше не обнаружилось. Счастливая случайность, надо признать (ну или у Siemens существовала какая-то предварительная договоренность с ЦРУ). А теперь представим — следите за руками (это важно!), — что какой-нибудь аутизированный и закомплексованный хакер ловит такую штуку в интернете, слегка ее модифицирует и настраивает на уничтожение любого промышленного процесса.

На самом деле, в этом сценарии нет ничего сложного, а тем более невероятного. Допустим, некое правительство, «мира во всем мире» ради, убеждает какой-нибудь Microsoft поделиться информацией об «уязвимости нулевого уровня» его новой операционной системы. В расчете на эту уязвимость и создается вирус военного назначения, который используется против какого-нибудь «кровавого режима». Параллельно все это безобразие оказывается в интернете и, соответственно, в руках каких-нибудь безызвестных и скучающих программистов, которые решают «немного пошалить». Они блокируют программу самоуничтожения вируса и выпускают проапгрейженного хищника на волю.

Это реально. Абсолютно. Тот же Stuxnet в том же самом 2010 году был именно так — случайно — обнаружен в интернете неизвестным до той поры белорусским программистом Сергеем Уласенем. Благодаря своей находке Сергей, конечно, обрел известность и его забрали в «Лабораторию Касперского». Но что, если бы у него не было амбиции работать в команде Евгения Валентиновича? Представим себе, что Сергей оказался менее человеколюбивым и более амбициозным — как Герострат, например. Волне возможно, что мы бы уже с вами мило не беседовали, причем ни здесь, на «Снобе», ни где-либо еще. Ведь атомная бомба Оппенгеймера выглядит на фоне этого кибермонстра не страшнее кремлевской Царь-пушки.

Через год после победоносного заявления Хиллари бывший глава подразделения киберзащиты министерства внутренней безопасности США Шон Макгурк оказался на программе «60 минут» канала CBS, где ведущий прямо спросил его о Stuxnet: «Эту штуку могли использовать против нас?» Видимо, в ту секунду Шон сильно пожалел, что решился прийти на это шоу. Его ответом было сдавленное «да». Вся фактическая инфраструктура нашей насквозь технологизированной цивилизации уже находилась под ударом, который вряд ли смогла бы выдержать. Так что, пока политики и генералы играют в свою, как им кажется, кибергеополитику, мы с вами безмятежно прогуливаемся по сафари-парку.

И тут нельзя отмахнуться, что, мол, с безумцами-хакерами ничего не поделаешь, а от случайностей не застрахуешься. Одно дело, когда безумец разгуливает с мачете по Лондону или с винтовкой по гей-клубу в Орландо, и совсем другое — тотальная уязвимость инфраструктуры. А вдруг этим безумцем окажется не какой-нибудь безвестный хакер, а, например, Сергей Михайлович Брин? Кризис среднего возраста там, какая-нибудь мизантропия, развившаяся на почве корпоративных войн и проснувшейся эндогенной депрессии… Почему нет?

Сценарий второй: интернет-хунта

В прошлый раз я рассказывал о революционном проекте Илона Маска по созданию открытого искусственного интеллекта. Маск, но на свой манер, боится того же, чего боятся Ассанж и Сноуден: контроля со стороны «Большого Брата». Впрочем, если Ассанж и Сноуден боятся, что контролировать нас будет государство, то Маск уверен, что скоро контролировать нас начнет сама Сеть. Он не политик и не общественный деятель, он технолог и бизнесмен. Как технолог, он прекрасно понимает, что будущее за сверхумным искусственным интеллектом, а, как бизнесмен, знает, что раскидистая клюква растет там, где денег бесконечное количество, а это, в частности, интернет-бизнес и все тот же самый пресловутый госзаказ.

Ассанжу, как известно, влетело за то, что он предал огласке документы Пентагона, которые тот вряд ли хотел рассекречивать. А вот за что пострадал Сноуден? Товарищ Эдвард рассказал мировой общественности про секретную программу Агентства национальной безопасности США под названием PRISM, в рамках которой АНБ получало негласный доступ к личным данным пользователей Microsoft, Yahoo, Google, Facebook, Skype, YouTube, Apple и др. На самом деле, речь шла о совершенно феноменальном сговоре между лидерами спецслужб и первыми лицами Кремниевой долины — вы ведете для нас слежку, а мы вас не трогаем.

Сидение Сноудена в московском аэропорту увенчалось успехом: интернет-гиганты поспешили дистанцироваться от АНБ и демонстративно ввели дополнительные системы шифрования, компания Acxion, которая почти официально создавала для АНБ «личные дела» американцев, исследуя их интернет-трафик, была заклеймена позором, а Барак Обама призвал правительство «взять на себя инициативу» и «покончить с цифровой слежкой». Все это выглядит очень круто: нашу личную жизнь решили оставить нам, и мы, вроде как, возрадовались. Никто, кажется, не понял, какая чудовищная мина залегла в тот самый момент под здание нашей с вами цивилизации.

Когда у Эрика Шмидта — прежнего главного исполнительного директора Google — спросили, не планирует ли Google превратиться в государство и вести себя на манер правительства, он ответил: «Нет, мы не стремимся. У государства слишком много сложных проблем». И значит это буквально следующее: «Да, мы будем государством, только вот за пособиями, образованием, правопорядком, сбором налогов и прочей ерундой — это не к нам, а к тем, кто почему-то продолжает себя считать государствами». Google, Apple, Facebook уже ощущают свое мировое господство, но раньше им приходилось мириться с государственным контролем (хотя бы и со стороны одних США), а теперь, после выходки Сноудена, они вполне могут сказать тем же США: извините, мы должны быть полностью независимы.

В шахматах есть такое понятие — цугцванг (это когда любой следующий ход игрока только ухудшает его позицию). Так вот, действия Сноудена продемонстрировали, что все мы находимся в том самом цифровом цугцванге. Дело в том, что вся информация, которую мы сами о себе оставляем в Сети, — это товар. Интернет-гиганты собирают ее, перерабатывают и продают. Они делали это, делают и будут делать — такова суть их бизнеса. Только раньше им приходилось делиться этой информацией с правительствами, а теперь у них есть легальное основание для отказа: они ведь как бы охраняют наши персональные данные. И ключевое слово здесь — «как бы», потому что они их не охраняют, они ими пользуются. И теперь будут пользоваться «в одно лицо», так сказать.

А теперь задумайтесь, из-за чего так переживает Илон Маск, что решил инвестировать личный миллиард долларов в бесплатный и открытый искусственный интеллект? Все до банальности просто: если даже не сверхумный, а хоть сколько-то сообразительный искусственный интеллект первым окажется в руках Google или Facebook, то все наши с вами персональные данные (которые у этих компаний уже есть и продолжают расти как на дрожжах) превратятся в идеальный способ управления нашим поведением. Социолог Зейнеп Тюфекчи показывает, что социальные сети уже сейчас обладают способностью «формировать нашу личность и наши слабые места», «понуждают и формируют наши мысли, желания и мечты». Нужен лишь слегка усиленный движок искусственного интеллекта, и предсказание Олдоса Хаксли о производстве «нужных обществу людей» станет явью.

Уже сейчас так называемой «когнитивной архитектурой» обладают такие компании, как AGIRI, Cycorp, Google, IBM, Novamente, Numenta, Self-Aware Systems, Vicarious Systems, и список можно продолжать. Плюс вездесущее государственное DARPA — «Агентство по перспективным оборонным научно-исследовательским разработкам», — которому мы уже обязаны интернетом и тысячей других цифровых вещей, включая, например, крошку Siri. Да, это еще не тот искусственный интеллект, который способен справиться с «тестом Тьюринга», но, может быть, в этом и нет особой нужды? Разве не тот же эффект будет достигнут, если искусственный интеллект, так и не став полноценной личностью, уничтожит наши?

Выдающийся ученый, профессор социологии Нью-Йоркского университета и Лондонской школы экономики Ричард Сеннет говорит: «Пришло время разбить Google на куски», а для этого «нам нужны отважные политики». И все вроде бы логично: необходимо разрушить формирующиеся гигантские интернет-монополии до того, как они начали формировать нас. Но если эти монополии смогут в скором времени управлять нашим поведением (по факту, это и так уже происходит), то каким, как вы думаете, будет исход мировой войны этих «отважных политиков» с этими новыми виртуальными правителями?

Или кто-то полагает, что Брин или Цукерберг, залепивший камеру на своем личном ноуте скотчем, отдадут власть просто так, без боя, за здорово живешь? Отдадут и еще раскланяются — все-таки госпожа президент, фрау канцлерина, леди премьер-министр… Те самые Брин и Цукерберг, которые бесконечно судятся из-за царящего в их компаниях мужского шовинизма?! Побойтесь бога. Только не эти парни. Точно нет.

И это, конечно, самый отвратительный сценарий. На мой вкус.

Сценарий третий: биржевой апокалипсис

Еще об одном сценарии скорой Четвертой мировой можно (и, наверное, даже нужно) рассказывать долго и сложно, но я проявлю сострадание… До недавнего времени я наивно полагал, что «кванты» — это неделимая порция энергии. Но на Уолл-стрит, как выясняется, свое понимание физики: там «квантами» называют специалистов по финансовой математике — тех самых, что уже оставили без работы и выкинули на улицу прежних, так хорошо известных нам по кино и новостным кадрам брокеров. Биржевые залы стремительно пустеют — на смену людям приходят математические алгоритмы.

Если верить гарвардскому ученому и бизнес-ангелу Александру Уисснеру-Гроссу, те средства, которые банки и хедж-фонды затрачивают на создание искусственного интеллекта, уже сейчас превышают совокупные затраты IT-компаний на те же цели. И удивляться тут нечему: деньги должны делать деньги, и, если нужно потратить деньги на то, чтобы делать деньги, за деньгами дело не станет. Некоторые из существующих алгоритмов уже сейчас умеют общаться друг с другом и осуществляют сделки за миллисекунды. Ни один человек не способен составить им конкуренцию в этой — самой большой — финансовой игре. Такова новая реальность «системы высокочастотного трейдинга» (HFT).

О том, что это за монстр, мир узнал в 2010 году, когда какой-то (тогда еще человек) трейдер умудрился одновременно выставить на продажу европейские фьючерсные контракты и инвестиционные фонды на сумму в 4,1 миллиарда долларов. В результате его ошибки стоимость соответствующих контактов по E-Mini S&P 500 упала на 4% за 4 минуты. Алгоритмы HFT уловили падение и начали автоматическую распродажу, другие алгоритмы тут же начали покупку, сопровождавшуюся распродажей других ценных бумаг для получения средств на эти покупки.

Запустился чудовищный механизм цепной реакции, в результате которого за двадцать минут индекс Доу-Джонса упал на тысячу пунктов. Никто не успел понять, что происходит, вмешаться и остановить эту компьютерную панику. По большому счету, это, конечно, ерунда: кто-то потерял, кто-то нашел. Всегда так бывает. Но в результате этой «ерунды» Греция оказалась на грани дефолта, подвергнув системному кризису всю европейскую экономику. И это был только первый случай подобной «паники» примитивных биржевых искусственных интеллектов, впоследствии аналогичные эпизоды повторялись неоднократно.

Понятно, почему банки и хедж-фонды не жалеют денег на «кванты». Непонятно, чем все это закончится. Не случится ли так, что какой-то из биржевых игроков создаст искусственный интеллект, пусть и не тьюринговский, но способный переиграть остальные алгоритмы на рынке, раньше других? Так и случится — кто-то, с неизбежностью, будет первым. Но станет ли он победителем, когда его монстр искусственного интеллекта, вышедший на мировой финансовый рынок, обрушит всю систему, а вместе с ней и мировую экономику?

Алгоритму наплевать на греческие пенсии, да и вообще на всю реальную экономику. Если его цель — заработать, то никакого сострадания, а тем более «социальной ответственности», ожидать от него не приходится. Да, сработают какие-то системы защиты, остановка торгов и т. д. Но смогут ли они после этого возобновиться? И как все это будет работать, если нет? С учетом того, что на мировых биржах, в принципе, давно торгуют воздухом из гигантского мыльного пузыря, появление такого игрока грозит всей системе тотальным крахом. Сработает та самая «скорость недоверия», о которой я уже рассказывал в статье «Кризис “Капитала 2.0”», а дальше… Возвращаемся к первому сценарию — нет электричества, транспорта и денег.

Какая глупая смерть.

***

Три приведенных сценария, конечно, не исчерпывают всей палитры возможностей. Но все они, надо признать, какие-то унизительные. Трудно представить, что о столь бесславной кончине нынешней цивилизации наши далекие потомки сложат красивую легенду. Да, Четвертая мировая может стать войной между умными машинами и людьми-героями. Но окажемся ли мы сами достаточно умными, чтобы добежать до того момента, когда машины обретут свой ум и наш грядущий Армагеддон будет действительно прекрасен?

Обо всем этом мы, вероятно, поговорим уже в следующий раз.
Добавил suare suare 9 Августа 2016
проблема (4)
Комментарии участников:
suare
+1
suare, 9 Августа 2016 , url
06.04.16

Андрей Курпатов: Четвертая мировая. Начало

Всего реплик: 11
Участники дискуссии: Александр Невзоров, Сергей Любимов, Алена Рева, Алекс Лосетт, Анна Квиринг, Дмитрий Волченко, Юрий Куликовский


источник: snob.ru

Понимаю, что все сейчас озабочены террористическими атаками, Путиным, Сирией, беженцами, кризисом ЕС, падающими самолетами и нефтью, Украиной, Крымом и санкциями… Но, поверьте, все эти беспокойства — совершеннейшая ерунда. В доме повешенного по волосам не плачут.

Запомним эту дату — 15 марта 2016 года, она историческая. День, когда весь наш биологический вид — слишком уж зазнавшийся «Человек Разумный» — получил, наконец, свою «черную метку». Правда выглядела она как белый камушек, брошенный на доску древнекитайской игры в го. Автором этого броска и «последнего китайского предупреждения» стал компьютер по имени AlphaGo, созданный компанией Google.

Мы настолько привыкли к разнообразным компьютерным фокусам, что не заметили, насколько радикально изменился наш мир в этот злосчастный день. Самые страшные пророчества стали сбываться. Началась Четвертая мировая война. Еще Алан Тьюринг — автор знаменитого «теста Тьюринга» — предупреждал нас о том, что игра в го будет последним рубежом, отделяющим машинный интеллект от человеческого. И теперь этот Рубикон нашей избранности, сделавший нас в свое время «венцом творения», перейден. Новый «венец творения» начал свое триумфальное шествие по планете.

Не могу сказать, что я рад приветствовать вас в этой новой реальности. Но то, что приветствовать уже пора, — факт неопровержимый. «Я не смог победить, но я не считаю свой проигрыш поражением человечества», — передал через пресс-службу Ли Седоль. Но что еще может сказать этот выдающийся гроссмейстер игры в го, проигравший машинному интеллекту? Мол, извините, я поставил на кон нашу с вами цивилизацию и продул подчистую? Нет, в таком не признаются. Даже если это правда.

***

В последнее время «холодную войну» часто стали называть Третьей мировой, но мне это утверждение кажется избыточным преувеличением. Для настоящей мировой войны она была слишком вегетарианской. Нынешняя война западной цивилизации с террором — дело другое, это поистине Третья мировая. Тут и жертв хоть отбавляй, и границы скоро сильно изменятся — по крайней мере, их внешний вид.

Чтобы представить себе, как будет выглядеть наше с вами недалекое будущее, можно, например, съездить в Израиль и посмотреть на высоченные заборы, окружающие палестинские поселения. Потребуется лишь немножко напрячь воображение и мысленно продлить эту стену от горизонта до горизонта. Такие заборы — из железа и бетона — скоро вырастут по периметру союзнических государств, объединенных в большие цивилизационные агрегации.

Когда-нибудь историки назовут это гигантское архитектурное сооружение, которое разделит цивилизованный мир и мир исламского фундаментализма, «Большой цивилизационной стеной». И хотя дизайн ее вряд ли закажут Филиппу Старку — строить будут второпях, Бэнкси, надо полагать, будет где развернуться. Китайцы, кстати, тоже что-то построят, но им и не впервой, и у них тоже какая-никакая цивилизация, испокон веков, замечу, играющая в го.

Отдельных стран как таковых, то есть в нынешнем их виде, уже не будет. Не рентабельно. Возникнут своего рода «цивилизационные анклавы»: «Европейский», «Североамериканский» и т. д. Россию, впрочем, вряд ли в какой-то из них возьмут. И не потому, что мы «не Европа», или «люди второго сорта», или «нам нельзя доверять». Просто слишком велика территория, а заселена локально — придется делать маленькие города-резервации с остатками культуры: «Москва», «Питер», «Екатеринбург». Блокада 2.0.

Создатели «Ходячих мертвецов», прячущие Рика и его отряд то в опустевшей федеральной тюрьме, то за огромным забором Александрии, не скрывают источников своего вдохновения. Таким эти «новые романисты» видят наше с вами общее будущее — мол, мы конечно говорим о зомби-апокалипсисе, но все же понимают, о каких «зомби» идет речь… И лукаво подмигивают. Трампу.

В общем, приглядитесь еще раз повнимательнее к палестинским поселениям — мы с вами скоро будем жить в таких же. Наверное, можно даже успеть психологически подготовиться.

***

Впрочем, когда одни стены растут, другие с неизбежностью разрушаются. Это своего рода диалектика выживания. И первая жертва на этом алтаре самосохранения — нежно любимое нами privacy, идея неприкосновенности частной жизни. То, что было нажито непосильным трудом, столетиями этических борений, падет. Но оплакивать эту утрату уже будет некому.

Посмотрите на основные тренды Instagram’а, на всю эту эксгибиционирующую обнаженку. Тим Кук может сколько угодно рьяно защищать неприкосновенность наших iPhon’ов от зловещего ФБР, но пока идет эта война амбиций «больших мальчиков», пользователи соцсетей рассекречиваются добровольно и чистосердечно.

Когда-то нас пугали оруэлловским «Большим братом», но сейчас он уже кажется по-своему даже милым. Ну правда, «зловещее, наблюдающее за нашими мыслями и чувствами Супер-Эго!» — кого этим теперь напугаешь? Нет, не страшно. Дети «Большого брата» боятся не того, что о них что-то узнают, а того, что о них не узнают. Не поставили лайк под фоткой с голой попкой — вот это катастрофа, а остальное — не смешите мои тапочки!

Теперь представьте, что к этой раскрепощенности добавятся гигантские стены по периметру цивилизационных анклавов и перманентный страх террористической угрозы. Поверьте, все сами и с готовностью сдадут явки и пароли. А несговорчивые… Несговорчивых просто выдворят за Стену — «по закону военного времени». Всякие же оппортунистические Telegram’ы в этом новом дивном мире просто запретят — в целях «цивилизационной безопасности».

Итак, финал Третьей мировой войны между цивилизацией с терроризмом, казалось бы, предрешен и недвусмысленно грозит нам «новым Средневековьем». Но не спешите радоваться, плохие новости только начинаются. Благодаря наступающей Четвертой мировой войне мы, вероятно, на всех парах проскочим эту станцию и обнаружим себя сразу в «новых Темных веках». Спасибо Ли Седолю…

***

Авторы бесчисленных научно-популярных кибертриллеров и широкоформатных блокбастеров, комиксов и компьютерных игр привычно пугают нас всякими страшилками про «искусственный разум». Мол, он разрастется и будет представлять угрозу для человека. Сами по себе эти басни, конечно, не выдерживают никакой критики — их создатели дуют на воду, тычут пальцем в небо и ковыряются в чужой песочнице.

Но самое печальное — не наивность авторов-фантастов, не их бесчисленные ошибки, а то, что создатели этих, с позволения сказать, шедевров всегда рисуют нам «хороший конец». Понятно, что это закон жанра: аудиторию надо привлекать, а не отпугивать. Но в результате этого маркетингового хода чувство тревоги в отношении «искусственного интеллекта» у человечества притупилось, и это как раз самое опасное.

Думать, что «искусственный интеллект» будет таким же, как мы — антропоподобным и человеко-разумным, нарушит законы роботехники Айзека Азимова и нас же завоюет, по меньшей мере наивно. Но еще наивнее думать, что война с «искусственным интеллектом» — это вопрос отдаленного будущего. Она уже идет, а 15 марта 2016 года — лишь красивая дата проигранной «Битвы при Сеуле» для возможных будущих учебников истории (если, конечно, мы выживем, и их еще будет кому написать).

Пока запрещенные в РФ игиловцы переименовались, художники Charlie рисовали очередные карикатурки на Пророка, а страны-нефтедобытчики пытались снова сговориться о бабках, вся прогрессивная мировая общественность наблюдала за тем, что происходит в далеком Сеуле.

Там, впрочем, ничего «такого» и не происходило. Ли Седоль сидел над доской игры в го, покрывался потом и тискал свою несчастную голову. Завершалась пятая, последняя партия серии игр между человеком и искусственным интеллектом. Пятая, но не решающая. Исход турнира был известен после первых трех сражений, в которых гугловское детище AlphaGo разбило Седоля подчистую. В четвертой, правда, машина поддалась, а в пятой — да, снова выиграла.

Общий счет 4:1 в пользу искусственного интеллекта.

Когда в 1997 году Гарри Каспаров проиграл шахматный турнир компьютеру Deep Blue, это, конечно, стало серьезным шоком для думающей части человечества. Но самоуверенность возобладала: мол, есть еще игра в го, в которой нет жестких алгоритмов, она требует интуиции и видения стратегии. Считалось, что победить в этой игре, не думая как человек, невозможно, а компьютер никогда так думать не сможет. И именно этот миф пал только что на сеульской земле.

Впрочем, научился ли AlphaGo думать как человек? Это, на самом деле, смешной вопрос. Он научился думать лучше человека. Тут важно понять: с Ли Седолем сражалась не компьютерная программа, созданная другими людьми, а самый настоящий цифровой интеллект. Все, что сделали разработчики, — это загрузили в AlphaGo информацию о множестве ранее сыгранных другими людьми партий и позволили ему потренироваться.

AlphaGo сыграл миллионы партий со своими собственными копиями, последовательно выбраковывая нежизнеспособные. В результате он создал собственные абстрактные стратегии ведения игры в го. Так что никто, включая разработчиков, не знает, как и почему AlphaGo принимает те или иные решения и какими правилами он руководствуется.

Это самый настоящий «черный ящик», но только уже не Скиннера, а Дугласа Лената, который первым разработал технологию цифрового естественного отбора, а потом засекретил свои разработки, опасаясь последствий собственного открытия (Google лишь пошел сходным путем и сделал нечто подобное).

***

Честно признаюсь, я не большой специалист в го. Как методологу подобные игры разума мне глубоко безразличны. Игры в «го», «го-го» или даже «иго-го-го» — неважно, меня интересуют подлинные значения вещей, то есть факты, а не вещи как таковые. Впрочем, если кто-то захочет изучить нюансы и подробности, а также суть этого «поражения человечества», все очень хорошо написано тут.

Так в чем же тут факт? Факт состоит в том, что ученые вплотную подошли к предсказанному «интеллектуальному взрыву». К информационному апокалипсису.

«Интеллектуальный взрыв» — теоретическое детище выдающегося математика Ирвинга Джона Гуда. Гуд был другом и коллегой Алана Тьюринга, вместе они работали в Блетчли-парке над над дешифровкой фашистской «Энигмы». Судьба Тьюринга широко известна, чего не скажешь о Гуде. В 60-х он эмигрировал в США, поселился в далеком Блэксбурге и до самой смерти в 2009 году работал в Политехническом университете Вирджинии на окладе, превышавшем оклад ректора.

Гуд был блестящим шахматистом, и это ему Тьюринг сказал о последнем интеллектуальном рубеже человечества — игре в го. Поэтому нет ничего удивительного в том, что именно Гуд занялся проблемой «искусственных нейронных сетей» — искусственным интеллектом, который программирует себя сам. Изначально Гуду казалось, что сверхразумная машина, к созданию которой мы неизбежно придем, будет величайшим благом для человечества.

Подумать только, в наших руках окажется суперинтеллект способный создавать мириады других суперинтеллектов! Мы сможем решить любые проблемы: победим болезни и смерть, обеспечим всеобщее благосостояние, полетим на Марс…

Впрочем, скоро стало понятно, что будущее человечества вовсе не так радужно. Решать соответствующие проблемы будет не человек, а машина, которая намного умнее человека. Тут, понятно, все начинают вспоминать Азимова — мол, объясним машине, что она должна служить нам, а не против нас, и все будет хорошо. Не будет. Если искусственный интеллект развивается путем самообучения, то об Азимове, при всем уважении, придется забыть.

Все дело в том, что нейронное или генетическое программирование предполагает цель, ради которой данный интеллект создается. Любая же умная система, движимая своей целью, сделает все возможное, чтобы избежать гибели (ведь если она «умрет», то ее цель не будет достигнута). То есть искусственный интеллект обязательно и очень скоро обнаружит в себе инстинкт самосохранения, а потом будет постоянно самосовершенствоваться, чтобы сопротивляться всяким попыткам его сдержать или выключить.

А то, что в какой-то момент нам захочется его сдержать, а потом и выключить, сомневаться не приходится. Дело в том, что инстинкт самосохранения вынудит суперинтеллект создавать новые цели, для достижения которых ему потребуются новые ресурсы, а мы с вами — поскольку состоим из молекул и атомов – и есть, в частности и кроме прочего, такой ресурс, проще говоря, кормовая база. Да, нам очень захочется его выключить. Но мы не сможем.

Создатели легендарной «Матрицы» предрекли нашим телам роль батареек, но и это, как выясняется, еще очень гуманный вариант развития событий. Сверхумный интеллект найдет способ получать энергию и менее затратным способом, нас же просто пустят под нано-нож.

Так выглядит перспективный план… А где сейчас зарождается этот монстр — и это точно не травоядный Google с его милым AlphaGo, — я расскажу в следующий раз.
06.06.16

Четвертая мировая. Монстр

Всего реплик: 25
Участники дискуссии: Катерина Мурашова, Алекс Лосетт, Ксения Букша, Юлия Панченко, Михаил Крымов


источник: snob.ru

В 1939 году Альберт Эйнштейн написал президенту Франклину Рузвельту письмо, ставшее впоследствии знаменитым. В нем автор теории относительности фактически потребовал от США начать работы по созданию атомной бомбы. В противном случае, объяснял Эйнштейн, гитлеровская Германия создаст это смертоносное оружие раньше и судьба мира будет предрешена.

Стивен Хокинг — Эйнштейн нашего времени, но сейчас президентам письма не пишут. И президенты уже не те, да и что они могут? В 2014 году Хокинг выступил на BBC с пугающим прогнозом: «Разработка полноценного искусственного интеллекта может означать конец человеческой расы». Илон Маск отозвался в своем твиттере: «Нам нужно быть предельно аккуратными с искусственным интеллектом. Потенциально он куда более опасен, нежели ядерные боеголовки».

Уже в 2015 году Илон Маск основывает некоммерческую компанию OpenAI, ее цель — создать открытый и дружественный человеку искусственный интеллект, в противовес «злонамеренному искусственному интеллекту», над которым, как считается, работают все остальные — от Сергея Михайловича Брина до Рэймонда Курцвейла. Так что в этой истории кроме современного Эйнштейна есть и свой Роберт Оппенгеймер.

Маск провел переговоры с десятью ведущими специалистами по искусственному интеллекту. Девять из них согласились присоединиться к благотворительному проекту: они оставили свои руководящие должности и баснословные зарплаты, чтобы попытаться спасти мир. И число этих Робин Гудов, надо сказать, неуклонно растет. Да, OpenAI Илона Маска — это новый «Манхэттенский проект».

Итак, кто современный Эйнштейн, а кто Оппенгеймер — понятно. Но вот кто Гитлер и Гейзенберг? И в чем суть этого нового оружия? Как оно будет действовать? И чем все это закончится?

***

Знаете такую телепрограмму «Своя игра» (калька с американского формата Jeopardy!)? Она для умников — в ней побеждали Александр Друзь, Борис Бурда, Анатолий Вассерман. Все как один — интеллектуальные крутышки. Но с 2011 года любой умник проигрывает в этой игре суперкомпьютеру IBM Watson. Watson не просто знает все ответы (имея свободный доступ к интернету, это, наверное, не слишком сложно), он научился понимать вопросы: различать подтекст, метафору, языковую игру и т. д., и т. п.

Так что вполне резонно задаться вопросом: а умеет ли суперкомпьютер IBM Watson думать? Создатель Watson’а — Дэвид Ферруччи — отвечает на это буквально так: «А умеет ли подводная лодка плавать?» Не торопитесь читать дальше — почувствуйте его иронию.

Искусственный разум скоро превзойдет человеческий по всем возможным параметрам, и наша дальнейшая судьба, поверьте, незавидна. Впрочем, мы даже думать об этом с должной серьезностью не можем. Не можем по той же причине, по которой не способны представить себе инопланетян иначе как человечками с руками и ногами. Наше воображение все лепит по своему образу и подобию. Нам просто недостает фантазии, а точнее, ума.

Мы ментальные эгоцентрики. Утешаем себя отговорками об уникальности человеческого сознания, философствуем о личности, некоторые даже о душе подумывают. Но все это — лишь культурные химеры, удобные фикции. Ничего этого просто нет, а есть лишь работа миллиардов нервных клеток — химические реакции и электрические импульсы. Мы сами — программный продукт собственного мозга. А потому странно и слишком самонадеянно думать, что интеллект можно произвести только полуторакилограммовой биомассой из воды, жиров, белков и катехоламинов.

Понимаю, что все это звучит не слишком ободряюще. Но это правда. Близок тот день, когда глиняный колосс наших культурных заблуждений, накрученных вокруг «личности» и «человека», рухнет. Конечно, мы до последнего будем защищать эту свою духовную «прелесть». Это вообще свойство человеческого интеллекта — игнорировать факты и совершать беспримерные глупости, о чем со всей очевидностью свидетельствует механизм «когнитивного диссонанса» Леона Фестингера.

Впрочем, это только лишний повод задуматься: у искусственного интеллекта подобных дефектов, обусловленных нашей человечностью, не предвидится. Так что оживающая на глазах железяка имеет все шансы надрать нам зад. И не только в «Своей игре». Тем более что это будет уже «Его игра».

***

У биологического интеллекта, конечно, была фора в несколько миллионов лет. Но ведь и темп был другой. Сейчас искусственный интеллект развивается тем же путем — методом проб и ошибок, используя механизмы подкрепления и обратной связи. То есть это полноценная эволюция по механизму естественного отбора. Только вот скорость соответствующих итераций — переходов от поколения к поколению — на порядки выше. Да и материал для своего интеллектуального развития этот «человеческий детеныш» получает на блюдечке с голубой каемочкой. Это не просто информация, а хорошо структурированная, взаимосвязанная, иерархически выстроенная информация. Учись — не хочу.

Если же кто-то еще думает, что современный искусственный интеллект программируется умными дяденьками — строчка за строчкой, алгоритм за алгоритмом, а потому вся его жизнь под строгим контролем, — забудьте. Это самообучающиеся, самонастраивающиеся и саморазвивающиеся системы. Что у такого «черного ящика» внутри, никому неизвестно. Мы не знаем, как он выигрывает в «Своей игре» или в го у лучшего гроссмейстера на планете. Тот же Ферруччи, как любящий отец, счастливо рекомендует свое чадо: «Люди спрашивают, а почему Watson здесь ответил неправильно? Я не знаю. Почему он здесь ответил правильно? Я не знаю тоже!» В общем, «Карнавальная ночь»: «Есть ли жизнь на Марсе, нет ли жизни на Марсе? Наука пока не в курсе дела! Асса!» Только, в отличие от Марса, наука создала этого монстра собственными руками.

И конечно, все эти турниры да телевикторины — лишь верхушка айсберга, демонстрация возможностей, шоу-бизнес. Пока мы забавляемся показательными выступлениями, искусственный интеллект трудолюбиво учится распознавать нашу речь, говорить, узнавать нас в лицо (проекты, финансируемые DARPA) или, например, называть человеческим языком визуальные объекты (разработка NeuralTalk, Стэнфордский университет). Еще он теперь может сказать, где была сделана та или иная фотография (нейронная сеть PlaNet компании Google), о чем то или иное видео (система Cortex компании Twitter), заранее знает, кто победит на премии «Оскар» или в Суперкубке, а еще делает ставки на скачках 540 к 1 и выигрывает (система UNU Льюиса Розенберга).

Впрочем, больше всего меня умиляют роботы-писатели. Да, они пишут превосходные заметки! О спортивных соревнованиях, о ситуации на финансовых рынках, недвижимости, да и просто весьма увлекательно излагают обычные городские новости (компания Automated Insight Робби Аллена). И должен сказать, зачастую читать эти тексты куда приятнее, чем аналогичные опусы, созданные профессиональными журналистами. Так что, если вы на 100% уверены, что данный текст об искусственном интеллекте написан человеком, а не самим искусственным интеллектом, помните: это может оказаться иллюзией.

Да, машины уже очень неплохо справляются с задачами, которые мы традиционно считаем уникальным свойством человеческого мозга. Пока это лишь разрозненные системы, но представьте, что некий суперкомпьютер совсем скоро объединит в себе все эти способности. Впрочем, любая машина все равно будет лишь жалким подобием человеческого интеллекта, правда? Ох уж это наше самомнение! Подобием — да, но отнюдь не жалким, ведь она сможет одновременно учитывать все накопленное человечеством знание, а главное, будет иметь всю возможную информацию о каждом из нас.

***

«Надеюсь, мы с вами не являемся чем-то вроде загрузчика для искусственного суперинтеллекта будущего, — пишет Маск в том же твиттере. — Но, как мне кажется, все идет именно к этому». Маск одним из первых осознал, что значит предоставить искусственному интеллекту всю информацию о нас. То есть не то, что мы о себе думаем или, например, как мы выглядим (это нужно лишь для того, чтобы нас идентифицировать), а именно всю, то есть все о нашем действительном поведении, способах принятия решений и наших желаниях.

Это, вероятно, и пугает Маска больше всего, неслучайно же он говорит об искусственном интеллекте как об «экзистенциальной угрозе» человечеству. Представьте, что машина начинает предугадывать наши желания — мы и сами-то со своими желаниями не способны разобраться, но она справится, ведь знает не только то, что мы думаем, но и то, как действуем. Само по себе это, наверное, и неплохо. Но кто сказал, что искусственный интеллект распорядится соответствующим знанием в наших интересах? Если он будет знать наши желания, он сможет и влиять на них, управлять ими, то есть нами. Поэтому, надо полагать, Маск и ополчился на Google (а отчасти и на Facebook), хотя и уходит от прямых вопросов на эту тему.

Интернет-гиганты совсем не так давно вышли на безубыточность, а реальные вложения и вовсе далеки от окупаемости. Ставка изначально делалась не на прибыль, и не ради прибыли сюда вкладывались инвесторы. Ставка делалась на завоевание максимального объема рынка — на количество пользователей, захваченных тем или иным ресурсом. Google, Facebook (и поглощенный им Twitter), Apple, Instagram, «Яндекс» — все это своего рода виртуальные империи, в буквальном смысле колонизирующие народы и создающие свои квазигосударства.

Вопрос лишь в том, как этим империям управлять своими гражданами и какой бенефит из этого можно извлечь. Пока прежние политические системы деградируют, новые игроки политического рынка — интернет-гиганты — превращаются в протогосударственных монстров. Я всегда считал, что состояние рабства должно определяться следующим образом: тебе платят не за то, что ты делаешь, а за то, что ты просто есть (ну, а что тебе делать или не делать — уже не твоего ума дело). По этому принципу и развиваются эти новые империи — мы у них есть. Рабы и папуасы глобальной сети интернет, которые даже не догадываются, что их «уже посчитали».

Сейчас в штаб-квартирах новых мировых интернет-империй создается искусственный интеллект, который будет управлять нами изнутри системы. И бьюсь об заклад, что его создатели сами еще не знают, как этой безумной и неограниченной властью распорядиться. Полагаю, пока они рассуждают типичным для таких случаев образом: завоюем, поработим как следует, а потом уж решим, что со всем этим делать. А решать, действительно, придется: не ровен час, когда все завоеванное ими «богатство» (то есть мы с вами) превратится в самые настоящие черепки. Ведь если искусственный интеллект действительно достигнет того уровня развития, который сейчас кажется уже почти неизбежным, сами по себе люди будут экономике не нужны. Более того, превратятся в обузу.

Ну правда, раньше рабочая сила была реальным капиталом (© К. Маркс), а сейчас какая в ней нужда? Представьте себе недалекое будущее… На первых этажах наших домов вместо нынешних магазинов располагаются большие 3D-принтеры, к ним по трубам (что-то вроде нынешнего водопровода) поступает универсальный концентрат двух видов — съедобный и несъедобный. Вам остается только нажать на кнопку, и нужные предметы тут же изготавливаются и оказываются в вашей квартире. Причем сам этот концентрат также производится на бесчеловечных — полностью автоматизированных — производствах.

Искусственного креатива тоже будет хоть отбавляй. Его, чтобы мы не скучали, нам будут скармливать нон-стоп. Искусственный интеллект уже сейчас научился сочинять музыку и писать литературные тексты, а завтра он будет работать в системе полного цикла, поставляя нашему вниманию неограниченное множество аудиовизуальных произведений, причем в системе 3D-реальности. Смотреть можно будет сутками напролет — не оторвешься! То есть кроме искусственного хлеба нас ждут и искусственные зрелища, причем в избытке.

Но зачем этой системе люди? При таком раскладе, люди становятся самыми настоящими «домашними животными». Но домашних животных тоже заводят не просто так: или для того, чтобы их есть, или же (и таких куда меньше в процентном отношении), чтобы им умиляться. Но кто нам в такой ситуации будет умиляться и, главное, зачем? Искусственный интеллект и вправду должен оказаться тем еще извращенцем, чтобы его умиляло человечество. А съесть нас… Ну да, эту версию я уже описывал в предыдущей статье («Четвертая мировая. Начало») — нанонож и все такое.

В общем, все это пока напоминает какую-то ужасающую футурологическую фантасмагорию. И неудивительно, что трогательного Илона Маска это пугает. Кстати, его странная затея с полетом на Марс — с билетом в один конец — не кажется на этом фоне столь уж эксцентричной выходкой.

Так или иначе, зная интернет-индустрию изнутри, Илон Маск пока пытается примерить на себя роль Морфеуса и создать что-то вроде анти-Матрицы — такой искусственный интеллект, который не будет, как, например, гугловский, нас контролировать. Но можно ли его контролировать, если он действительно станет интеллектом, то есть сущностью, обладающей своим собственным умом и самосознанием? На этот вопрос, кажется, даже у самого Маска ответа нет.

***

Новый Оппенгеймер строит новую бомбу, чтобы обогнать новых фашистов. Но даже если он их обгонит, бомба будет создана, а такие штуки без дела не пропадают. Немногие, наверное, об этом знают, но Эйнштейн отправил Рузвельту и второе письмо, когда у американцев уже была бомба. В нем, как нетрудно догадаться, Эйнштейн пытался убедить президента не использовать атомное оружие. По стечению обстоятельств, письмо оказалось на столе Рузвельта 12 апреля 1945 года — в день его смерти — и даже не было распечатано.

Позже, вспоминая трагедию Хиросимы и Нагасаки, Эйнштейн признается своему биографу: «Да, я нажал на эту кнопку». Впрочем, он явно преувеличивал. Если и нажал, то не более, чем Хокинг на свою, мигая веком.

Да, ни Маск, ни Брин, бьющиеся в своем искусственно-интеллектуальном противостоянии, не учитывают того факта, что на сцене, подобно черному лебедю Нассима Талеба, в любой момент вместо интеллигентного Рузвельта может объявиться боевой офицер Гарри Трумэн. И руки у новых Трумэнов уже чешутся… Но об этой чесотке я, пожалуй, расскажу в следующий раз.
X86
+2
X86, 9 Августа 2016 , url
Завладейте компьютерной инфраструктурой противника, и он повержен. Ни одно современное государство-Голиаф не выдержит удара камнем, летящим из этой пращи.
Да ну, уж прям…
efys
+1
efys, 9 Августа 2016 , url
Кроме того это довольно сложно осуществить. Не многим легче чем завладеть транспортной инфраструктурой.
reik
+1
reik, 9 Августа 2016 , url
Короче, ТРУБА! Наша жизнь пока оказывается самая счастливая, не смотря не на что!
mrCray
+1
mrCray, 10 Августа 2016 , url
Мля, ну что за чушь… Самая большая беда настанет, когда отменят фейсбук и котиков. Народу будет сложно самовыражаться. А премьер так вообще с ума последнего сойдёт. Безопасностью сейчас пренебрегают только ООО «СуперПуперФирма» и подобные ей бузинесмены. В России, к счастью, даже в самой суперсовременной фирме где всё завязано на электронику, обязательно сидит «дядя Вася», который знает — компьютеры для пасьянса и дураковаляния. И если объект хоть капельку секретный — хоть обзаходись туда с флешкой, диском и 12-ю ноутбуками.
Пока ты не возьмёшь автомат — шансов на взлом у тебя — не ноль, а отрицательное число. Как ИТ-сопереживающему мне обидно, но как было сказано в известном анекдоте — «куда он голой пяткой, да на шашку?!».
Если у ГазПрома полетит бухгалтерия, то проблема будет у акционеров, а до крана ни один компьютер не допустят, ну разве что отмечать уровень «выхлопа» от вчерашнего застолья «дяди Васи».
С нашими периодическими отключениями электричества, которые, надеюсь, помнят все, на технику положиться можно только в одном случае — если пиво, за которым её отправили, УЖЕ на столе.


Войдите или станьте участником, чтобы комментировать