В этом году исполняется 78 лет со дня окончания самой смертоносной войны в истории человечества и начала самого длительного периода современности без вооруженных конфликтов между великими державами. Потому что всего два десятилетия спустя за Первой мировой войной последовала Вторая мировая война. Она стала провозвестником Третьей мировой войны. В ней было применено оружие настолько разрушительное, что теоретически оно могло угрожать всему человечеству. И эта угроза висела на протяжении десятилетий последовавшей за этим холодной войны. Когда атомное уничтожение Хиросимы и Нагасаки Соединенными Штатами вынудило Японию немедленно и безоговорочно капитулировать, никто не думал, что мир увидит фактический мораторий на использование ядерного оружия в течение следующих семи десятилетий. Еще более невероятным казалось то, что почти восемь десятилетий спустя в мире останется всего девять ядерных держав. Лидерство, продемонстрированное Соединенными Штатами на протяжении этих десятилетий в предотвращении ядерной войны, замедлении распространения ядерного оружия и формировании международного порядка, обеспечившего десятилетия мира между великими державами, войдет в историю как одно из самых значительных достижений Америки.

 

Сегодня, когда мир сталкивается с уникальными проблемами, создаваемыми другой беспрецедентной и в некотором смысле даже более ужасающей технологией — искусственным интеллектом — неудивительно, что многие обращаются к истории за советом. Будут ли машины со сверхчеловеческими способностями угрожать статусу человечества как хозяина Вселенной? Подрывает ли ИИ монополию отдельных стран на средства массового уничтожения? Позволит ли ИИ отдельным индивидам или небольшим группам людей создавать вирусы, способные убивать в масштабах, которые раньше были прерогативой только великих держав? Может ли ИИ разрушить средства ядерного сдерживания, которые были основой сегодняшнего мирового порядка?

 

На данный момент никто не может с уверенностью ответить на эти вопросы. Но, изучая эти вопросы в течение последних двух лет с группой технологических лидеров, находящихся в авангарде революции искусственного интеллекта, мы пришли к выводу, что перспективы того, что неограниченное развитие ИИ создаст катастрофические последствия для Соединенных Штатов и всего мира, проявляются настолько убедительно, что мировые лидеры должны начать действовать немедленно. Несмотря на то, что ни они, никто не знает, что нас ждет в будущем, сегодня мы уже знаем достаточно, чтобы начать делать трудный выбор и предпринимать действия, признавая, при этом что они будут подлежать неоднократному пересмотру по мере того, как мы будем открывать для себя все больше нового.

 

Когда лидеры делают этот выбор, повлиять на их решения могут уроки, извлеченные в ядерную эпоху. Даже наши противники, стремившиеся разработать и внедрить беспрецедентные технологии, которые могут убить сотни миллионов людей, обнаруживали, тем не менее, островки общих интересов. Будучи двумя полярными государствами, и Соединенные Штаты, и Советский Союз были заинтересованы в предотвращении быстрого распространения таких технологий на другие государства, которые могли бы им угрожать. И Вашингтон, и Москва осознавали, что если ядерные технологии попадут в руки злоумышленников или террористов в пределах их собственных границ, они могут быть использованы для угрозы США и СССР, и поэтому каждый из них разработал надежные системы безопасности для своих собственных арсеналов. И поскольку оба этих государства могли оказаться под угрозой, если злоумышленники из стана противника приобрели бы ядерное оружие, они сочли, что в их интересах обсудить этот риск друг с другом и разработать методы и технологии, чтобы гарантировать, что этого не произойдет. Как только арсеналы их ядерного оружия достигли уровня, на котором ни один из них не мог атаковать другого, не вызвав ответного удара, который уничтожил бы его самого, они обнаружили парадоксальную стабильность «гарантированного взаимного уничтожения» (MAD). По мере того, как эта ужасная реальность была ими усвоена, каждая держава научилась ограничивать себя и нашла способы убедить своего противника ограничить свои военные инициативы, чтобы избежать конфронтации, которая могла бы привести к войне. Действительно, лидеры США и советского правительства пришли к пониманию того, что предотвращение ядерной войны, первой жертвой которой станет их страна, являлось их важнейшей обязанностью.

 

Проблемы, с которыми сегодня сталкивается ИИ, — это не просто вторая глава ядерного века. История — это не кулинарная книга с рецептами, по которым можно приготовить суфле. Различия между ИИ и ядерным оружием столь же значительны, как и сходства. Однако правильно понятые и адаптированные уроки, извлеченные из формирования международного порядка, в результате которого почти восемь десятилетий не было войн между великими державами, представляют собой лучшее руководство, доступное для лидеров стран с противостоящими искусственными интеллектами.

На данный момент существует всего две сверхдержавы в сфере искусственного интеллекта: США и Китай. Это единственные страны, обладающие специалистами, исследовательскими институтами и огромными вычислительными мощностями, необходимыми для создания самых сложных моделей искусственного интеллекта. Это дает им узкое «окно возможностей» для разработки рекомендации по предотвращению наиболее опасных достижений и путей применения ИИ. Президенту США Джо Байдену и Председателю КНР Си Цзиньпину следует воспользоваться этой возможностью и провести саммит – возможно, сразу после встречи Азиатско-Тихоокеанского экономического сотрудничества в Сан-Франциско в ноябре – где они могли бы вступить в расширенные, прямые, личные дискуссии о том, что именно это они должны рассматривать как одну из наиболее важных проблем, стоящих перед ними сегодня.

 

 

После того, как атомные бомбы опустошили японские города в 1945 году, учёные, открывшие атомный ящик Пандоры, увидели то, что они создали, и в ужасе отпрянули от содеянного. Роберт Оппенгеймер, главный учёный Манхэттенского проекта, вспомнил строчку из Бхагавад-гиты: «Теперь я стал Смертью, разрушителем миров». Оппенгеймер стал настолько ярым сторонником радикальных мер по контролю над атомным оружием, что его лишили допуска к ядерному проекту. Манифест Рассела-Эйнштейна, подписанный в 1955 году 11 ведущими учёными, включая не только Бертрана Рассела и Альберта Эйнштейна, но также Лайнуса Полинга и Макса Борна, предупреждал об устрашающей силе ядерного оружия и умолял мировых лидеров никогда не использовать его.

 

Хотя президент США Гарри Трумэн никогда не выражал сомнений по поводу своего решения по атомному оружию, ни он, ни члены его команды в области национальной безопасности не имели реального представления о том, как эта ужасающая технология может быть интегрирована в послевоенный международный порядок. Должны ли были Соединенные Штаты попытаться сохранить свое монопольное положение единственной атомной державы? Было ли это вообще осуществимо? Могли ли Соединенные Штаты для достижения этой цели поделиться своими технологиями с Советским Союзом? Требовалось ли мировым лидерам для выживания в мире, обладающем этим оружием, изобрести некую новую власть, стоящую над национальными правительствами? Генри Стимсон, военный министр при Трумэне (который только что помог одержать победу над Германией и Японией), предложил Соединенным Штатам разделить свою монополию на атомную бомбу с советским лидером Иосифом Сталиным и премьер-министром Великобритании Уинстоном Черчиллем, чтобы создать «кондоминиум» из великих держав, который предотвратил бы распространение ядерного оружия. Трумэн учредил комитет под председательством заместителя госсекретаря США Дина Ачесона для разработки стратегии реализации предложения Стимсона.

 

По сути, Ачесон согласился со Стимсоном: единственный способ предотвратить гонку ядерных вооружений, которая могла закончиться катастрофической всемирной войной, — это создать какую-то международную структуру, которая была бы единственным обладателем атомного оружия. Это потребует от Соединенных Штатов поделиться своими ядерными секретами с Советским Союзом и другими членами Совета Безопасности ООН, передать свое ядерное оружие новому «органу ООН по атомному развитию» и запретить всем странам разрабатывать атомное оружие или создавать свой собственный потенциал для производства оружейного ядерного материала. В 1946 году Трумэн направил в ООН финансиста и советника президента Бернарда Баруха для переговоров о соглашении по реализации плана Ачесона. Но это предложение было категорически отвергнуто представителем СССР в ООН Андреем Громыко.

 

Три года спустя, когда Советский Союз преуспел в своих стремительных усилиях по созданию собственной бомбы, Соединенные Штаты и Советский Союз вступили в то, что люди начали называть «холодной войной»: ожесточенная конкуренция, но без бомб и пуль. Главной чертой этой конкуренции стало стремление к ядерному превосходству. На пике своего развития ядерные арсеналы двух сверхдержав включали более 60 тысяч единиц оружия, некоторые из которых имели боеголовки с большей взрывной силой, чем все оружие, которое использовалось во всех войнах в известной нам истории. Эксперты спорили, будет ли тотальная ядерная война означать конец каждой живой души на земле.

 

На протяжении десятилетий Вашингтон и Москва потратили триллионы долларов на свои ядерные арсеналы. Текущий годовой бюджет США на атомное оружие превышает 50 миллиардов долларов. В первые десятилетия ядерной гонки и США, и Советский Союз совершили невообразимые ранее рывки вперед в надежде получить решающее преимущество. Увеличение взрывной мощности атомного оружия потребовало создания новых единиц его силы: от килотонн (эквивалент энергии, выделяемой 1000 тоннами тротила) для первоначальных зарядов, до мегатонн (эквивалент энергии, выделяемой одним миллионом тонн) для водородных термоядерных бомб. Обе стороны изобрели межконтинентальные ракеты, способные за 30 минут доставить боеголовки к целям на другом конце планеты, спутники, кружащиеся вокруг земного шара на высоте сотен километров с камерами, которые могли определить координаты целей с точностью до нескольких сантиметров, и средства защиты, которые могли по сути дела попасть пулей в пулю. Некоторые специалисты всерьез думали над такими системами обороны, которые сделают ядерное оружие, как выразился президент Рональд Рейган, «бессильным и устаревшим».

 

 

Пытаясь систематизировать эти усилия, стратеги разработали концептуальный арсенал, позволяющий разделять первый и второй удары. Они сформулировали основные требования для надежного ответного реагирования. И они разработали ядерную триаду — подводные лодки, бомбардировщики и ракеты наземного базирования — чтобы гарантировать, что, если противник обнаружит слабость одного нашего компонента, то другие компоненты арсенала останутся доступными для разрушительного ответа. Осознание рисков случайных или несанкционированных запусков оружия стимулировало изобретение действенных разрешительных систем — электронных замков, встроенных в ядерное оружие, которые предотвращали его активацию без правильных кодов запуска. Были разработаны даже избыточные системы для защиты от технологических прорывов, которые могли поставить под угрозу системы управления и контроля, что послужило основой изобретения компьютерной сети, которая превратилась в Интернет. Как выразился стратег Герман Кан, «тогда мы думали о немыслимом».

 

В основе ядерной стратегии лежала концепция сдерживания: предотвращение нападения противника путем угрозы нанесения ему ущерба, превышающего любые мыслимые для него выгоды. Одновременно стало понятно, что для успешного сдерживания необходимы не только военные возможности, но и вера противника в них. Стратеги еще больше усовершенствовали эту основную идею с помощью таких концепций, как расширенное сдерживание, в котором они стремились использовать политический механизм – обязательства защиты через союз – чтобы убедить ключевые мировые государства не создавать свои собственные ядерные арсеналы.

 

К 1962 году, когда президент США Джон Кеннеди выступил против советского лидера Никиты Хрущева по поводу ракет с ядерными боеголовками, которые Советы разместили на Кубе, разведывательное сообщество США подсчитало, что даже если Кеннеди нанесет успешный первый удар, советский ядерный ответ с существовавшими у СССР возможностями может погубить 62 миллиона американцев. К 1969 году, когда президентом стал Ричард Никсон, Соединенным Штатам пришлось переосмыслить свои подходы. Один из нас, Киссинджер, позже описал эту проблему так: «Наши оборонные стратегии, сформированные в период нашего превосходства, должны были быть пересмотрены в суровом свете новых реалий… Никакая воинственная риторика не могла скрыть тот факт, что существующих ядерных арсеналов было достаточно, чтобы уничтожить все человечество… И не могло быть более высокой обязанности, чем предотвратить катастрофу ядерной войны».

 

Чтобы сделать этот тезис более ярким, стратеги создали ироничную аббревиатуру MAD (англ. «сумасшедший». Военная аббревиатура “mutual assured destruction” расшифровывается как «гарантированное взаимное уничтожение» — Прим. ИноСМИ), суть которой была изложена в часто повторяемой фразе Рейгана: «Ядерную войну невозможно выиграть, и поэтому ее никогда нельзя вести». С оперативной точки зрения MAD означал взаимную гарантированную уязвимость. Хотя и Соединенные Штаты, и Советский Союз стремились избежать этого состояния, в конечном итоге они осознали, что не могут этого сделать, и им пришлось фундаментально переосмыслить свои отношения. В 1955 году Черчилль отметил высшую иронию в том, что «безопасность станет крепким дитя террора, а выживание — братом-близнецом уничтожения». Не отрицая различий в ценностях и не ставя под угрозу жизненно важные национальные интересы, смертельным врагам пришлось разработать стратегии, чтобы победить своего противника всеми возможными способами, кроме тотальной войны.

 

Одним из столпов этих стратегий был ряд как молчаливых, так и явных ограничений, известных теперь как контроль над вооружениями. Еще до появления стратегии MAD, когда каждая сверхдержава делала все возможное для достижения ядерного превосходства, они обнаруживали области общих интересов. Чтобы снизить риск ошибок, Соединенные Штаты и Советский Союз в неформальных обсуждениях договорились не мешать друг другу в наблюдениях за территорией соперника. Чтобы защитить своих граждан от радиоактивных осадков, они запретили атмосферные ядерные испытания. Чтобы избежать «кризисной нестабильности» — когда одна сторона чувствует необходимость нанести удар первой, полагая, что другая сторона собирается это сделать, — они согласились в Договоре по ПРО 1972 года ограничить противоракетную оборону. В Договоре о ядерных силах средней и меньшей дальности, подписанном в 1987 году, Рейган и советский лидер Михаил Горбачев договорились ликвидировать ядерные силы средней дальности. Переговоры об ограничении стратегических вооружений, в результате которых были подписаны договоры в 1972 и 1979 годах, ограничили увеличение количества ракетных пусковых установок, а позднее Договор о сокращении стратегических вооружений (СНВ), подписанный в 1991 году, и новый договор СНВ, подписанный в 2010 году, сократили их количество. Возможно, наиболее важным моментом стало то, что Соединенные Штаты и Советский Союз пришли к выводу, что распространение ядерного оружия на другие государства представляет угрозу для них самих и, в конечном счете, чревато «ядерной анархией». Это привело к созданию так называемого режима нераспространения, центральным элементом которого является Договор о нераспространении ядерного оружия 1968 года, согласно которому 186 стран сегодня обязались воздерживаться от разработки своих собственных ядерных арсеналов.

 

 

В текущих предложениях о способах сдерживания ИИ можно услышать множество отголосков этого прошлого. Требование миллиардера Илона Маска о шестимесячной паузе в разработке ИИ, предложение исследователя искусственного интеллекта Элиезера Юдковски о его запрещении и требование психолога Гэри Маркуса о том, чтобы он контролировался неким глобальным управляющим органом, по сути повторяют провалившиеся предложения ядерной эпохи. Причина в том, что каждое из них потребует от ведущих государств подчинить свой суверенитет наднациональным структурам. Никогда в истории ни одна великая держава, опасаясь, что конкурент может применить новую технологию, угрожающую ее выживанию и безопасности, не отказывалась от разработки этой технологии для себя. Даже близкие союзники США, такие как Великобритания и Франция, предпочли развивать свой собственный национальный ядерный потенциал в дополнение к опоре на ядерный зонтик США.

 

Чтобы адаптировать уроки ядерной истории для решения нынешней проблемы искусственного интеллекта, важно признать существенные различия между ИИ и ядерным оружием.

 

Во-первых, если развитие ядерных технологий направлялось отдельными национальными правительствами, то в создании ИИ участвуют в основном частные компании. Ученые, работающие в Microsoft, Google, Amazon, Meta, OpenAI и нескольких небольших стартапах, намного опережают любые аналогичные усилия американского правительства. Более того, эти компании сейчас вовлечены в «гладиаторскую» борьбу между собой, которая, несомненно, стимулирует инновации, но за которую приходится дорого платить. Поскольку эти частные игроки прежде всего ищут компромиссов между прибылями и рисками, то они зачастую недооценивают национальные интересы конкретных государств.

 

Во-вторых, ИИ сегодня является цифровым. Ядерное оружие было трудно производить, и требовалась сложная инфраструктура для выполнения всего: от обогащения урана до разработки ядерного заряда. Продукты ядерного производства были физическими объектами и, следовательно, поддавались подсчетам. Но там, где было нужно проверить действия противника, сразу же возникали ограничения. ИИ представляет собой совершенно другую задачу. Его основная эволюция происходит в умах людей. Его разрабатывают в лабораториях, а его развертывание трудно наблюдать. Ядерное оружие осязаемо. Сущность искусственного интеллекта в его концептуальности и умозрительности.

 

В-третьих, ИИ развивается и распространяется со скоростью, которая делает невозможными длительные переговоры. Контроль над вооружениями развивался десятилетиями. Ограничения для ИИ должны быть установлены еще до того, как ИИ будет встроен в структуру безопасности каждого государства, то есть до того, как машины начнут ставить свои собственные цели, что, по мнению некоторых экспертов, вероятно, произойдет в ближайшие пять лет. Это требует обсуждения и анализа сначала на национальном, а затем и на международном уровне. В отношении ИИ требуется также новая архитектура отношений между правительствами и частным сектором.

 

К счастью, крупные компании, которые разработали базовый искусственный интеллект и сделали Соединенные Штаты ведущей сверхдержавой в области ИИ, осознают, что у них есть ответственность не только перед своими акционерами, но также перед Америкой и человечеством в целом. Многие из них уже разработали свои собственные рекомендации по оценке риска перед развертыванием, уменьшению систематических ошибок в обучении ИИ и ограничению опасного использования своих моделей. Другие изучают способы ограничения обучения ИИ и введения требований «знай своего клиента» для производителей облачных компьютерных систем. Значительным шагом в правильном направлении стала инициатива, объявленная администрацией Байдена в июле этого года, которая привела руководителей семи крупных компаний, занимающихся искусственным интеллектом, в Белый дом, чтобы дать совместное обещание разработать руководящие принципы для обеспечения «безопасности, защищенности и доверия».

 

Как отметил один из нас, Киссинджер, в книге «Эра искусственного интеллекта», крайне важно провести систематическое исследование долгосрочных последствий появляющихся изобретений и областей применения искусственного интеллекта. Сейчас, когда общество в Соединенных Штатах более разделено, чем даже во времена Гражданской войны, масштабы рисков, создаваемых неограниченным развитием ИИ, требуют, чтобы лидеры как правительства, так и бизнеса начали действовать немедленно. Каждая компания, обладающая возможностями по созданию новых моделей ИИ, а также каждая компания или исследовательская структура, разрабатывающая такие новые модели, должны создать группы для анализа человеческих и геополитических последствий своих коммерческих операций с ИИ.

 

Эта проблема является надпартийной и требует единого ответа нашего общества. Президент и Конгресс должны в таком духе создать национальную комиссию, состоящую из выдающихся политически независимых бывших лидеров частного сектора, Конгресса, вооруженных сил и разведывательного сообщества. Комиссия должна предложить конкретные обязательные гарантии. Они должны включать требования о постоянной оценке возможностей обучения новых моделей ИИ, таких как GPT-4, и о том, что перед выпуском новой модели компании проводят стресс-тестирование на предмет экстремальных рисков. Хотя задача разработки таких правил и является сложной, у комиссии будет образец в виде Комиссии национальной безопасности по искусственному интеллекту. Его рекомендации, опубликованные в 2021 году, дали импульс и направление инициативам, которые военные и спецслужбы США предпринимают в рамках конкуренции в области искусственного интеллекта с Китаем.

 

 

Даже на этом раннем этапе, пока Соединенные Штаты все еще создают свою собственную систему управления ИИ внутри страны, уже надо начать серьезные разговоры с единственной в мире другой сверхдержавой в области искусственного интеллекта. Хотя китайская политическая система и создала трудности для развития ИИ, национальные лидеры Китая в технологическом секторе — Baidu (ведущая поисковая система страны), ByteDance (создатель TikTok), Tencent (создатель WeChat) и Alibaba (лидер в области электронной коммерции) — создают собственные системы на китайском языке — аналоги ChatGPT. И хотя Китай по-прежнему отстает в технологиях производства передовых полупроводников, он обладает всем необходимым для продвижения вперед в ближайшем будущем.

 

В этой связи Байден и Си должны встретиться в как можно скорее для открытого разговора о контроле над военным применением ИИ. Ноябрьская встреча Азиатско-Тихоокеанского экономического сотрудничества в Сан-Франциско предоставляет им такую возможность. Американский и китайский лидеры должны обсудить, как они лично оценивают риски, создаваемые ИИ, что делает его страна для предотвращения такого его применения, которое создает катастрофические риски, и как его страна гарантирует, что отечественные компании не будут экспортировать сопутствующие риски. Чтобы подготовить информацию для следующего раунда обсуждений, им следует создать консультативную группу, состоящую из американских и китайских ученых в области искусственного интеллекта, а также других лиц, которые думают над последствиями этих разработок. Этот подход может быть смоделирован на основе существующей дипломатии «второй дорожки» в других областях, где группы состоят из людей, выбранных на основе их беспристрастных суждений, хотя формально и не утвержденных их правительствами. Судя по нашим беседам с ведущими учёными в обеих странах, мы уверены, что эта дискуссия может оказаться весьма продуктивной.

 

Обсуждения и действия США и Китая по этой повестке дня станут лишь частью зарождающегося глобального диалога по ИИ, включая Саммит по безопасности ИИ, который Великобритания проведет в ноябре, и продолжающийся диалог по этой проблематике в ООН. Поскольку каждая страна будет стремиться использовать искусственный интеллект для улучшения жизни своих граждан, обеспечивая при этом их безопасность, в долгосрочной перспективе потребуется разработка глобального порядка его развития. Работа над этим должна начаться с национальных усилий по предотвращению наиболее опасных и потенциально катастрофических последствий работы искусственного интеллекта. Эти инициативы должны быть дополнены диалогом между учеными разных стран, занимающимися разработкой крупных моделей ИИ, и членами национальных комиссий, подобных предложенной здесь. Официальные правительственные переговоры, первоначально между странами с развитыми программами искусственного интеллекта, должны быть направлены на создание международной структуры, а также международного агентства, сравнимого с Международным агентством по атомной энергии.

 

Если Байден, Си Цзиньпин и другие мировые лидеры начнут действовать уже сейчас, чтобы противостоять вызовам, создаваемым ИИ, так же решительно, как это делали их предшественники в борьбе с ядерными угрозами в предыдущие десятилетия, добьются ли они такого же успеха? Глядя на широкую картину истории и растущую поляризацию мирового сообщества сегодня, трудно быть оптимистом. Тем не менее тот яркий факт, что мы отметили 78-летие мира между ядерными державами, должен вдохновить всех на решение революционных и неизбежных задач нашего будущего в области искусственного интеллекта.