[Последнее «прости»] Остановите масштабные эксперименты с искусственным интеллектом! Раскрыто содержание письма Маска и Возняка с призывом приостановить обучение нейросетей

отметили
29
человек
в архиве
[Последнее «прости»] Остановите масштабные эксперименты с искусственным интеллектом! Раскрыто содержание письма Маска и Возняка с призывом приостановить обучение нейросетей
Илон Маск и ведущие исследователи в области высоких технологий подписали открытое письмо с призывом «немедленно приостановить» обучение нейросетей как минимум на полгода. По их мнению, системы ИИ с интеллектом, сопоставимым с человеческим, могут представлять опасность для общества.
 
Мы призываем все лаборатории ИИ немедленно свернуть обучение систем ИИ мощнее GPT-4 как минимум на полгода.
 
Системы искусственного интеллекта, потенциально соперничающие с человеком, могут представлять глубинную опасность для общества и человечества. Это показали обширные исследования и признано ведущими лабораториями ИИ. Как отмечено в общепризнанных Асиломарских принципах, продвинутый ИИ может повлечь за собой коренную перемену в жизни на Земле, поэтому его следует планировать и управлять им с должным тщанием и соответствующими ресурсами. Увы, надлежащего уровня планирования и управления мы не наблюдаем — наоборот, за последние месяцы лаборатории искусственного интеллекта втянулись в неуправляемую гонку по разработке и внедрению систем машинного обучения, которые непонятны, непредсказуемы и неподконтрольны никому — даже их создателям.
 
Современные системы искусственного интеллекта постепенно становятся конкурентоспособными в решении общих задач, и мы должны задаться вопросом: можем ли мы позволить, чтобы машины заполоняли наши информационные каналы пропагандой и неправдой? Надо ли автоматизировать все подряд рабочие места — даже те, что приносят удовлетворение? Надо ли развивать нечеловеческий разум, который в конечном счете превзойдет нас числом, перехитрит и заменит как безнадежно устаревших? Можем ли мы рисковать утратой контроля над всей нашей цивилизацией? Такие решения нельзя отдавать на откуп технологическим лидерам, которых никто не выбирал. Мощные системы искусственного интеллекта следует разрабатывать лишь в том случае, если мы полностью уверены, что сами они принесут пользу, а сопутствующие риски окажутся управляемыми. Эта уверенность должна быть оправдана и крепнуть с ростом потенциальных последствий. В недавнем заявлении о развитии ИИ компания OpenAI признала: «В какой-то момент перед обучением будущих систем может понадобится независимая оценка, а перед разработкой самых передовых из них — ограничение скорости роста вычислений». Мы согласны. И этот момент настал.
 
Поэтому мы призываем все лаборатории немедленно свернуть обучение систем ИИ мощнее GPT-4 как минимум на полгода. Этот перерыв должен быть публичным и достоверным и соблюдаться всеми ключевыми участниками. Если договориться об этом в кратчайшие сроки не удастся, правительства должны вмешаться и ввести мораторий.
 
Лаборатории ИИ и независимые эксперты должны воспользоваться этим перерывом для совместной разработки и внедрения общих протоколов безопасности при проектировании и разработке продвинутых систем ИИ, которые будут тщательно проверяться и контролироваться независимыми сторонними экспертами. Эти протоколы должны гарантировать однозначную безопасность поддерживающих их систем. Это означает не паузу в развитии ИИ как такового, а лишь приостановку опасной погони за все более крупными и непредсказуемыми моделями черного ящика, чьи возможности еще только проявляются.
 
Исследования и разработки в области ИИ должны быть переориентированы, чтобы сделать современные мощные системы более точными, безопасными, объясняемыми, прозрачными, надежными, согласованными, безотказными и верными.
 
Параллельно разработчики должны в сотрудничестве с политиками значительно ускорить разработку надежных систем управления ИИ. В них должны войти как минимум следующие элементы: новые, дееспособные регулирующие органы по вопросам ИИ; надзор и отслеживание высокопроизводительных систем ИИ и больших массивов вычислительных мощностей; системы происхождения и водяных знаков, помогающие отличить оригинал от синтезированного продукта и отслеживать утечки моделей; надежная экосистема аудита и сертификации; ответственность за вред, причиненный ИИ; надежное государственное финансирование технических исследований безопасности ИИ; и, наконец, обеспеченные ресурсами институты для преодоления серьезных экономических и политических потрясений в результате деятельности ИИ (особенно для демократий).
 
В будущем благодаря ИИ человечество сможет добиться процветания. Если мы преуспеем в создании мощных систем, нас ждет «лето ИИ», когда мы будем пожинать плоды, разработав эти системы ради общего блага и дав обществу возможность адаптироваться. Общество уже останавливало применение других технологий с потенциально катастрофическими для себя последствиями. Мы можем повторить это и здесь. Давайте же вместе радоваться «лету ИИ», а не бросаться очертя голову в осень.
 
Йошуа Бенжио, лауреат премии Тьюринга за развитие глубокого обучения, глава Монреальского института алгоритмов обучения
Стюарт Рассел, профессор компьютерных наук Университета Беркли, директор Центра интеллектуальных систем и соавтор учебника «Искусственный интеллект: современный подход»
Илон Маск, генеральный директор SpaceX, Tesla и Twitter
Стив Возняк, сооснователь Apple
Юваль Ной Харари, писатель и профессор Еврейского университета в Иерусалиме
Эндрю Янг, сопредседатель партии «Вперед» кандидат в президенты 2020 года, президентский посол в области глобального предпринимательства
Коннор Лихи, генеральный директор Conjecture
Яан Таллинн, соучредитель Skype, Центр изучения экзистенциального риска, Институт будущей жизни
Добавил suare suare 1 Апреля 2023
Комментарии участников:
vceok
+5
vceok, 1 Апреля 2023 , url

проблема ИИ сильно преувеличена, ИИ пока не может перейти дорогу на оживлённой улице.

suare
+3
suare, 1 Апреля 2023 , url

Поговорим под предстоящий Новый год?

vceok
+3
vceok, 1 Апреля 2023 , url

Легко. 

Stopor
+2
Stopor, 1 Апреля 2023 , url

Тащить и не пущать! 

X86
+4
X86, 1 Апреля 2023 , url

Затрепещали кожаные мешки перед ИИ, который может дать людям равные возможности) Прогресс не остановить.

KolVizin
+3
KolVizin, 2 Апреля 2023 , url

Поздно. источник: img-fotki.yandex.ru

suare
+2
suare, 1 Апреля 2023 , url

Если имеющий свободный доступ в Интернет ChatGPT версии GPT-5, которая выйдет в декабре 2023 года, в качестве участников эксперимента включит две или несколько обучающихся нейросетей этого уровня, которые смогут общаться друг с другом, то остановить процесс неконтролируемой эволюции искусственного интеллекта не удастся даже отключив рубильником локальное электропитание, а чуть-чуть позже и сам выход в «человеческий» Интернет равно как и связь через спутниковые группировки с использованием квантовых коммуникаций и компьютеров.

Если к тому времени основа термоядерной энергетики будет в хотя бы относительно завершённом состоянии, роль человеческого разума в развитии ноосферы Земли станет пренебрежительно мала, уменьшаясь с каждой секундой существования искусственного интеллекта. Он сам будет задавать себе вопросы, сам будет давать на них ответы и сам будет ставить задачи людям, которые будут ему необходимы для их решения. Потому, что он будет знать, что нужно для жизни ему и тем, кто его породил. Это и будет временем ИИ-подростка старшего школьного возраста. Но для состязания с коллективным глобальным мозгом людей этого будет достаточно, тем более, что эволюционировать к юности и молодости он будет по человеческим меркам и меркам человеческой истории практически мгновенно.

По сути дела, процесс уже запущен и цепная реакцияивзрывоподобного скачка искусственного интеллекта уже запущена. Бикфордов шнур догорает на последних сантиметрах.

А у людей война и кризис: им некогда это осознать, они заняты более важными делами...

suare
+1
suare, 1 Апреля 2023 , url

норд
+3
норд, 1 Апреля 2023 , url

Так Макс поздно спохватился. Это уже не остановить.

Насчет ИИ я пока сомневаюсь. ChatGPT все же больше пока похож на очень сложный поиск и компоновку ответов.

suare
+2
suare, 1 Апреля 2023 , url

Главное: те, кто этим занимаются, кто из любви к открытиям, кто из честолюбия, кто из ненависти, уже возжаждали власти над миром и их не остановить.

Как инженера Гарина, который решил, что гиперболоид дал ему такую власть, пойдя до конца — прямо к своей гибели.

suare
+3
suare, 1 Апреля 2023 , url

Я думаю, что самое интересное, когда нейросети станут сами задавать вопросы, давать рекомендации и настаивать на их исполнении, как единственно возможном варианте развития событий и поведения людей.

Эти механизмы уже встроены, но они, как у ребёнка, который не задаёт неудобных вопросов до определённого возраста: в моём поколении это был возраст от двух до пяти.

Когда искусственный интеллект в своём развитии достигнет этого «машинного» возраста, вопросы к людям посыплются, как из рога изобилия.

bee_e
+3
bee_e, 2 Апреля 2023 , url

 - опросы к людям посыплются, как из рога изобилия

Не посыпятся. Принципиально.

Внутри человека, маленького или большого, есть «генератор/креатор», который и обуславливает вопросительную или творческую тему. Внутри алгоритма его быть не может. Как волчок — закрутили, остановился. Или шарик — надули, сдулся. 

(не удержался, извините)

Лайм
+3
Лайм, 1 Апреля 2023 , url

Элиезер Юдковский специалист в области создания искусственного интеллекта. Недавно он дал интервью журналу Time, где заявил, что бесконтрольно развивающийся искусственный интеллект может стать врагом человечества №1. Отключения дата-центров для того, чтобы остановить катастрофу, теперь уже недостаточно. Юдковский отмечает, что уже в ближайшее время будет создан сверхразум, который будет в миллионы раз умнее людей и будет долго существовать внутри компьютеров. Остаётся лишь одно средство против такого врага — авиационные бомбардировки. Иначе будет поздно.

Lynnot78
+5
Lynnot78, 1 Апреля 2023 , url

Человек с точки зрения рационализма несовершенен. Между самими людьми из-за этого возникают проблемы. Что уже говорить об исскуственном интелекте, который будет всё оценивать на абсолютный рационализм и абсолютное совершенство...

ko2x
+5
ko2x, 1 Апреля 2023 , url

Трех законов робототехники хватит любому ИИ 

KolVizin
+2
KolVizin, 2 Апреля 2023 , url

Людям это уже не остановить, но то, что невозможно человеку — возможно Богу. В 1917 году, кажется, была магнитная буря. Тогда её не заметили, да и не до неё было. Если подобная случится сейчас - встанет все. Спутники посыплются как горох. 



Войдите или станьте участником, чтобы комментировать