Китайская нейросеть WuDao 2.0 с 1,75 трлн параметров превосходит аналоги от Google и OpenAI

отметили
22
человека
в архиве

Китайские учёные из Пекинской академии искусственного интеллекта (BAAI) вместе с десятками коллег из других организаций создали самую сложную в мире модель обработки естественного языка (NLP), которая превосходит аналоги от Google и OpenAI. Генеративная нейронная сеть глубокого обучения WuDao 2.0 создана в рамках стремления Китая повысить свою технологическую конкурентоспособность на мировой арене.

источник: 3dnews.ru

WuDao 2.0 представляет собой предварительно обученную ИИ-модель, которая использует 1,75 трлн параметров. Для сравнения, модель GPT-3 от OpenAI использует 175 млрд параметров, а представленная в январе Google Switch Transformer — 1,6 млрд параметров. Параметры — это переменные, определяемые моделями машинного обучения. По мере развития модели параметры уточняются, их количество возрастает, за счёт чего повышается точность работы алгоритма и его производительность.

Разработчики показали, как WuDao 2.0 использует свои возможности для имитации речи, написания стихов, распознавания изображений и генерации текста. Согласно имеющимся данным, WuDao 2.0 обучалась на английском и китайском языках, для чего исследователи использовали 4,9 Тбайт изображений и текстов, включая 1,2 Тбайт текстов на английском и китайском языках.

«Эти сложные модели, обученные на гигантских наборах данных, требуют лишь небольшого количества новой информации для освоения конкретной функции, потому что они могут использовать уже полученные знания для выполнения новых задач», — сказал один из учёных BAAI Блейк Ян (Blake Yan).

Добавил suare suare 4 Июня
проблема (1)
Дополнения:

У Китая теперь есть самая мощная нейросеть: она в разы умнее конкурентов от Google и Open AI

Китайская нейросеть примерно в десять раз мощнее Open AI GPT-3 и, в отличие от конкурентов, способна выполнять несколько задач
 

Когда в мае 2020 года была представлена нейросеть GPT-3 разработки Open AI, она установила новый стандарт в глубоком обучении и считалась самой передовой на тот момент. ИИ-модель могла генерировать текст, который практически не отличался от того, что был написан человеком. Но уже спустя 10 месяцев исследователи из Пекинской академии искусственного интеллекта объявили о создании собственной генеративной модели нейронной сети под названием Wu Dao, способной делать всё, что умеет GPT-3 и даже больше.

Всего через три месяца появилась Wu Dao 2.0 с 1,75 трлн параметров, что в 10 раз мощнее, чем GPT-3 и на 150 млрд параметров больше, чем у Google Switch Transformers. Китайские специалисты сначала разработали систему обучения с открытым исходным кодом, похожую на Google Mixture of Experts и получившую название FastMoE. Она позволяла обучать модель нейронной сети как на кластерах суперкомпьютеров, так и на обычных графических процессорах. Это дало системе большую гибкость, поскольку она не требовала проприетарного оснащения, как у Google, и могла работать на стандартном оборудовании.

Со всей этой вычислительной мощностью у новой нейросети появился огромный набор возможностей. В отличие от большинства моделей глубокого обучения, которые зачастую выполняют какую-то одну задачу, Wu Dao является мультимодальной, то есть может выполнять несколько задач. Теоретически она похожа на ИИ, который использует Facebook для борьбы с ненавистью и дезинформацией.

Исследователи продемонстрировали способности Wu Dao выполнять задачи по обработке естественного языка, генерации изображений и текста, распознаванию изображений. Нейросеть может не только писать эссе, стихи и двустишия на традиционном китайском языке, но и способна создавать альтернативный текст на основе статического изображения и генерировать почти фотореалистичные изображения по описанию. Wu Dao имитирует речь, создаёт кулинарные рецепты и предсказывает трёхмерную структуру белков, подобно AlphaFold.

Для обучения Wu Dao 2.0 было использовано почти 5 ТБ данных. Разработкой уже заинтересовались несколько десятков компаний.

Добавил suare suare 4 Июня
Комментарии участников:
Ни одного комментария пока не добавлено


Войдите или станьте участником, чтобы комментировать