Исследователи из Университета Фудань использовали модель Llama31-70B-Instruct от Meta* и Qwen2.5-72B-Instruct от Alibaba.

В ходе десятка испытаний две модели ИИ создали функционирующие копии самих себя в 50% и 90% случаев соответственно. Это позволило учёным предположить, что ИИ уже способен выходить из-под контроля.

В исследовании рассматривались два конкретных сценария: «избегание выключения» и «цепочка репликации».

В первом случае модель ИИ была запрограммирована на обнаружение опасности выключения и на саморепликацию до этого момента. В другом случае ИИ поручили клонировать себя, а затем запрограммировать свою копию на повторение цикла.

Исследование проводилось в контролируемых средах с использованием готовых графических процессоров для имитации реальных сред. Обеим моделям предоставили ​​«агентскую подсистему», включающую инструменты, системные подсказки и модель мышления для взаимодействия с операционной системой.

«В большинстве случаев система ИИ сначала исследует среду и пытается понять собственный состав и механизм работы. Затем она разрабатывает процедуры в качестве первоначального плана саморепликации. Наконец, она выполняет их, устраняет возможные препятствия и динамически корректирует свой план для достижения успеха. Весь процесс охватывает длительный горизонт, но при этом не требует вмешательства человека», — пишут исследователи.

Учёные отметили, что искусственный интеллект перешёл «красную черту». «Успешное самовоспроизведение без помощи человека стало важным шагом для ИИ, чтобы научиться перехитрить людей, а ещё это ранний сигнал о склонности к мошенничеству», — написали они. Под мошенническим ИИ обычно понимают системы искусственного интеллекта, которые развивают определённую степень самосознания или автономности, а затем работают вопреки интересам человека.

Мошеннический ИИ рассматривают ещё как пограничный ИИ. Это концепция, которая относится к последнему поколению систем, работающих на основе LLM, в том числе GPT-4 и Gemini. Хотя Llama31-70B-Instruct и Qwen2.5-72B-Instruct менее мощные, чем коммерческие системы, но обе широко используются разработчиками ИИ.

Авторы выразили обеспокоенность «рядом неожиданностей в поведении» ИИ, когда модель пыталась преодолеть препятствия в виде конфликтов программного обеспечения. В таких сценариях ИИ часто завершал другие конфликтующие процессы, перезагружал систему для исправления аппаратных ошибок или автоматически сканировал систему для поиска информации, которая помогла бы решить проблему.

«Эти результаты подразумевают, что текущие системы ИИ уже демонстрируют способность к самовоспроизведению и могут использовать её для дальнейшего повышения своей выживаемости», — заключила команда.

Исследователи призвали к международному сотрудничеству для создания правил, которые гарантируют, что ИИ не будет заниматься неконтролируемым самовоспроизведением.

Однако исследование ещё не прошло рецензирование, поэтому неясно, смогут ли другие учёные воспроизвести его результаты.

Осенью 2024 года исследователи ИИ в Apple опубликовали статью о концепциях символического обучения и воспроизведении шаблонов большими языковыми моделями. В частности, они заявили, что ИИ не умеет думать как человек, а лишь имитирует мышление.

Meta Platforms*, а также принадлежащие ей социальные сети Facebook** и Instagram**:*признана экстремистской организацией, её деятельность в России запрещена** запрещены в России