[RSI] Anthropic вплотную приблизилась к самосовершенствующемуся ИИ — и признала новые риски

отметили
17
человек
в архиве
[RSI] Anthropic вплотную приблизилась к самосовершенствующемуся ИИ — и признала новые риски

Anthropic накануне подала уточнённую форму S-1/A, в которой, помимо финансовых показателей, раскрыла ещё одну примечательную деталь. Компания находится на пороге создания модели искусственного интеллекта, способной к рекурсивному самосовершенствованию (Recursive Self-Improvement, RSI).

RSI — этап, на котором ИИ становится настолько эффективным в собственном обучении, что это приводит к резкому ускорению развития его возможностей. Для тех, кто опасается катастрофических последствий развития ИИ, RSI представляется точкой невозврата: ИИ обретает возможность усовершенствовать себя до такой степени, что выйдет из-под контроля и станет безразличным к ущербу, который может причинить в процессе достижения своих целей. Для энтузиастов RSI, напротив, представляет собой воплощение потенциала технологий — превращение ИИ в инструмент, способный обеспечить невероятный рост продуктивности, совершить научные открытия и ознаменоваться иными достижениями.

В Anthropic считают, что RSI несёт в себе как огромные возможности, так и серьёзные риски. Компания уже использует ИИ в исследованиях и разработке, отметила она, но предостерегла: «Использование ИИ для создания более совершенных систем ИИ может представлять значительную угрозу безопасности, особенно если это резко ускорит темпы прогресса. Это один из аспектов, учитывающийся в нашей „Политике ответственного масштабирования“, в которой изложены планы по мониторингу и снижению рисков по мере приближения к тому, что называется рекурсивным самосовершенствованием».

Обозначение RSI вошло в обиход относительно недавно и поначалу воспринималось как недостижимая цель — эффект, который будет крайне сложно реализовать на практике. Теперь же Anthropic указала его среди факторов риска. Она уже использовала ИИ в разработке новых моделей, «чьи качественные скачки в возможностях своевременно не были замечены»; а в ближайшем будущем, по её словам, может значительно ускорить прогресс с помощью ИИ.

«Более того, расширение использования систем ИИ для ускорения наших собственных исследований и разработки может привести к тому, что возможности наших моделей будут развиваться быстрее, чем наша способность разрабатывать, проверять и развёртывать соответствующие средства безопасности, согласования целей и защиты. В результате мы в прошлом уже упускали из виду и можем не заметить в будущем значительное ускорение темпов нашего развития до того момента, как оно уже случится. Например, наши внутренние оценки и прогнозы относительно будущих моделей, в отличие от текущих, указывают, что в скором времени мы можем достичь порога, который в нашей „Политике ответственного масштабирования“ определяется как „обусловленное ИИ значительное ускорение прогресса“. На данный момент ни одна из наших моделей не классифицируется как преодолевшая этот порог, и мы продолжаем анализировать соответствующие данные», — заявили в Anthropic.

Компания также не рассчитывает, что сможет в значительной мере полагаться на существующие ИИ-системы для «полностью автономного проектирования и создания последующих поколений передовых моделей без значимого контроля или понимания со стороны человека — даже если (и когда) это станет технически возможным». Есть мнение, что форма S-1 может выступать не только средством раскрытия информации, но и маркетинговым материалом. Тем не менее, за последний год ИИ Anthropic совершил колоссальный скачок в научной области; и если в компании считают высокой вероятность наступления RSI, то, возможно, имеет смысл отнестись к этому серьёзно.

Добавил suare suare 3 Ноября
Дополнения:

12:02 / 3 ноября, 2026

Anthropic предупреждает о скором появлении саморазвивающегося ИИ. Это концепция RSI, и компания подошла к ней вплотную

К маю 2026 года Claude писал более 80% кода Anthropic, но выбирать перспективные направления исследований он пока не умеет. Компания не рассчитывает доверить ему создание новых моделей без контроля человека.

Anthropic предупредила, что её искусственный интеллект может вскоре достичь уровня, при котором начнёт резко ускорять разработку собственных преемников. Компания признала, что подобный скачок способен произойти быстрее, чем инженеры успеют подготовить необходимые меры безопасности.

Предупреждение появилось 2 ноября в обновлённой документации для Комиссии по ценным бумагам и биржам США (SEC), которую Anthropic подала в рамках подготовки к выходу на биржу. Разработчик Claude впервые столь определённо допустил скорое достижение внутреннего порога, связанного с рекурсивным самоулучшением ИИ, или RSI (Recursive Self-Improvement).

Под RSI понимают процесс, при котором нейросеть помогает создавать более совершенные модели, а новые поколения ускоряют дальнейшие исследования. В предельном варианте искусственный интеллект сможет самостоятельно проектировать и обучать собственных преемников. Однако Anthropic пока говорит лишь о приближении к резкому ускорению разработки благодаря ИИ, а не о полной автономности.

Согласно внутренним оценкам компании, будущие модели могут в ближайшее время преодолеть порог «резко ускоренного прогресса благодаря ИИ», установленный политикой Responsible Scaling Policy. Ни одна из действующих моделей пока не получила соответствующего статуса. Более того, разработчики признают, что прежние скачки возможностей удавалось обнаружить лишь после их фактического появления.

Основания для беспокойства уже есть. К маю 2026 года Claude создавал более 80% кода, который попадал в основную кодовую базу Anthropic. Производительность инженеров по объёму добавленного кода выросла примерно в восемь раз относительно 2024 года. Нейросеть также научилась самостоятельно выполнять сложные задачи, запускать эксперименты и искать ошибки в программных системах.

Однако самостоятельное написание программ ещё не означает способности создавать новый ИИ без участия человека. Claude успешно решает поставленные исследователями задачи, но по-прежнему уступает специалистам в выборе перспективных направлений работы. Именно способность определять цели исследований остаётся одним из главных препятствий на пути к полноценному самоулучшению ИИ.

В документах SEC Anthropic предупреждает ещё об одной опасности. Ошибки, скрытые отклонения и недостатки нынешних моделей могут переходить в следующие поколения, усиливаясь при каждом новом цикле разработки. При слишком быстром прогрессе компания рискует не успевать проверять безопасность систем и устранять возникающие проблемы.

Anthropic не рассчитывает в обозримом будущем безопасно доверить Claude полностью автономное создание передовых моделей без содержательного человеческого контроля. Компания рассматривает изменения политики Responsible Scaling Policy, чтобы сохранить участие специалистов в разработке. Ранее Anthropic уже предлагала замедлять развитие наиболее мощных ИИ-систем, если механизмы безопасности перестанут успевать за их возможностями.

Павел Злобин

Почему главный риск AI — не замена людей, а усиление плохих решений

10 Июн Время чтения 6 мин 634

Когда речь заходит об искусственном интеллекте, разговор почти всегда быстро сводится к одному вопросу: кого он заменит?

Обсуждают исчезновение профессий, сокращение рабочих мест и будущее рынка труда. Такая реакция вполне понятна. Любая технология, способная радикально изменить привычный порядок вещей, вызывает тревогу.

Однако есть ощущение, что внимание часто сосредоточено не на том риске, который действительно может оказаться самым серьёзным для бизнеса.

Парадокс заключается в том, что главная опасность искусственного интеллекта может быть связана вовсе не с заменой людей. Гораздо важнее другое: AI способен многократно усиливать уже принятые решения — как хорошие, так и плохие.

Почему раньше ошибки распространялись медленнее

Исторически у бизнеса существовал естественный ограничитель — скорость.

Чтобы реализовать новую идею, требовалось собрать команду, согласовать действия, провести анализ, распределить ресурсы и запустить проект. Даже неудачные инициативы часто продвигались медленно просто потому, что их реализация занимала много времени.

В определённом смысле это работало как встроенный механизм защиты. Компании ошибались, но масштаб последствий был ограничен скоростью исполнения.

Плохие решения редко распространялись мгновенно.

Что меняется с появлением AI

Искусственный интеллект резко снижает стоимость многих действий.

Сегодня гораздо быстрее создаются рекламные кампании, готовятся отчёты, анализируются данные, пишутся тексты и автоматизируются рабочие процессы. То, что раньше требовало недель работы нескольких специалистов, теперь может занимать часы или даже минуты.

Для бизнеса это огромный плюс. Но вместе с преимуществами появляется и новый вызов.

Технология не понимает, правильное направление выбрала компания или нет. Она не оценивает стратегию и не проверяет качество управленческих решений. Искусственный интеллект лишь ускоряет и масштабирует то, что получает на входе.

Если исходное решение было сильным, результат становится лучше.

Если решение ошибочное, последствия также масштабируются быстрее.

Почему качество мышления становится критически важным

Представим компанию, которая неверно понимает своего клиента.

Раньше такая ошибка приводила к нескольким неудачным рекламным кампаниям, потерянному бюджету и затянувшемуся поиску правильного подхода. Ошибки были заметны, но их масштаб оставался относительно ограниченным.

Теперь ситуация выглядит иначе.

Компания может за короткое время создать десятки материалов, автоматизировать коммуникации, запустить новые каналы продвижения и значительно увеличить объём активности. Проблема в том, что всё это будет усиливать неправильное понимание аудитории.

Скорость возрастёт. Качество решений — не обязательно.

В результате организация начинает работать быстрее, но не становится умнее.

Почему хаос тоже можно масштабировать

Существует распространённое заблуждение, что искусственный интеллект автоматически делает компанию более эффективной.

На практике всё зависит от того, насколько хорошо устроена сама система управления.

Если процессы противоречат друг другу, цели сформулированы нечётко, а сотрудники работают без общего контекста, технология не устранит эти проблемы. Более того, она может сделать их заметно масштабнее.

Отчёты будут появляться быстрее.

Задачи будут ставиться быстрее.

Новые инициативы будут запускаться быстрее.

Но фундаментальные причины хаоса останутся на месте.

Иногда ускорение только усиливает существующие слабости организации.

Почему это особенно опасно для компаний без единой логики управления

Такая ситуация часто встречается в бизнесах, где разные подразделения движутся в разных направлениях.

Маркетинг по-своему понимает клиента. Продажи живут по собственным правилам. Руководство меняет приоритеты быстрее, чем команда успевает адаптироваться. При этом знания о прошлых ошибках нигде системно не сохраняются.

В подобных условиях ускорение может оказаться опаснее медлительности.

Компания начинает очень быстро выполнять множество действий, но эти действия не складываются в единую стратегию. Внешне создаётся ощущение высокой активности, однако реального прогресса может становиться меньше.

Что действительно усиливает AI

Искусственный интеллект не создаёт качество управления самостоятельно.

Он усиливает свойства системы, которая уже существует.

Если компания умеет принимать взвешенные решения, сохраняет знания, понимает своего клиента и регулярно учится на собственном опыте, технологии помогают ей двигаться быстрее.

Если же в основе лежат слабые процессы и неясная стратегия, ускорение начинает работать против бизнеса.

Поэтому сегодня на первый план выходит не только вопрос внедрения новых инструментов, но и качество организационного мышления.

Насколько хорошо компания понимает своих клиентов.

Насколько чётко расставлены приоритеты.

Насколько последовательно принимаются решения.

Насколько эффективно сохраняется и используется накопленный опыт.

Именно эти факторы определяют, принесёт ускорение пользу или создаст дополнительные проблемы.

Вывод

В ближайшие годы ключевым вызовом станет не сам искусственный интеллект, а способность компаний правильно использовать его возможности.

Технологии делают скорость доступной практически для всех. Создавать контент, запускать процессы, анализировать информацию и автоматизировать рутинные задачи становится всё проще.

Поэтому главным ограничением постепенно перестаёт быть скорость исполнения. На первое место выходит качество решений.

Выиграют не те компании, которые быстрее остальных внедрят AI, а те, которые смогут усилить действительно правильные стратегии, процессы и управленческие подходы.

Потому что искусственный интеллект не определяет направление движения бизнеса. Он лишь помогает двигаться по выбранному пути значительно быстрее.

Добавил suare suare 3 Ноября
Комментарии участников: