Какие тренды есть в технологиях машинного обучения? Когда, наконец, ИИ перестанет быть предвзятым?

За последние 20 лет развитие компьютерных технологий шагнуло гораздо дальше представлений фантастов прошлого века. Навигатор строит маршрут лучше нас, приложения «угадывают» наши предпочтения в музыке. Системы искусственного интеллекта преуспели в творчестве и областях, требующих от человека незаурядных способностей: обыгрывают профессиональных игроков в го и DOTA, обнаруживают раковые опухоли не хуже опытных врачей, точнее человека определяют личность по внешности или голосу и даже создают музыку и произведения искусства.

Однако эти системы еще не могут считаться ИИ. Они, как правило, хорошо справляются только с тем типом задач, на который натренированы. Например, антиспам-системы хоть и включают в себя анализ текста, ничего не знают об устройстве естественного языка и эмоциональной окраске сообщений. Кроме того, для машинного обучения все еще необходим человек: модель способна только на то, что в нее изначально заложили разработчики. Однако технологии не стоят на месте.

1. Машинное обучение станет масштабнее

Масштаб проявляется буквально во всем: в сложности самих моделей, в объеме данных для обучения, в требуемых вычислительных мощностях, в длительности тренировки моделей, в том, сколько появляется специалистов по машинному обучению и сколько денег инвестируется в исследования ИИ. Наконец, разработчики алгоритмов машинного обучения берутся за задачи, которые еще недавно казались невыполнимыми.

Яркий пример масштаба — языковая модель GPT-3. Это та самая нейросеть, которая прославилась статьей для The Guardian. Она работает по принципу автодополнения, то есть генерирует продолжение для любого введенного текста. Кроме очевидных областей применения — в чат-ботах и написании текстов — GPT-3 успешно справляется с переводами, краткими пересказами, семантическим поиском и другими языковыми задачами.

Чтобы добиться выдающихся результатов, разработчикам GPT-3 потребовалось включить в модель 175 млрд параметров и использовать для обучения 570 Гбайт текстов (для сравнения: текст всей русскоязычной «Википедии» занимает около 3 Гбайт) и специально построенный суперкомпьютер с 285 тыс. процессорных ядер и 10 тыс. GPU (графических процессоров).

Тренду на увеличение моделей машинного обучения способствуют два момента:

1.Компьютерные мощности постоянно растут;

2. Технологичные компании все больше вкладываются в развитие искусственного интеллекта.

Однако у масштаба есть и обратная сторона. Поскольку новым моделям требуется инфраструктура ценой в миллионы долларов, такие исследования доступны только корпорациям и совершаются в их интересах.

Но это не значит, что обычный разработчик не может приобщиться к действительно крутым технологиям. Во-первых, фундаментальные исследователи могут за разумные деньги арендовать видеокарты в облаках AWS и Google или обратиться за помощью на платформу добровольных вычислений BOINC. Во-вторых, компании делятся своими наработками. Еще недавно, чтобы сделать классификацию чего бы то ни было, нужно было самостоятельно собрать и разметить данные, обучить модель и так далее. Сейчас индустрия меняется, в открытом доступе появляются предобученные модели, которые можно использовать в своих проектах.

2. Машинное обучение станет ближе

Готовые и предобученные модели сделают машинное обучение доступным для большего числа разработчиков. Это значит, что больше сервисов будет использовать технологии машинного обучения и они еще сильнее проникнут в нашу жизнь.

Одновременно с появлением суперсложных методов развивается тренд и на легковесные модели машинного обучения, работающие на пользовательских устройствах.

Есть три причины, почему разработчики стараются перенести часть машинного обучения с серверов на устройства:

1. Лучше защита персональных данных. Если «умная» колонка сама распознает ваш голос, то передаст на сервер только текстовый запрос, и утечка биометрических данных будет невозможна в принципе;

2. Быстрее и устойчивее к плохой сети. Например, во время звонка ВКонтакте нейросеть на смартфоне определяет, когда вы говорите, и передает только полезный сигнал, а неинформативный шум пропускает. За счет этого экономится интернет и у вас, и у собеседников;

3. Дешевле сервисная инфраструктура. Это помогает разработчикам внедрять новые фичи, думая в первую очередь о качестве продукта, а не о том, на что хватит серверов.

Приведу в пример технологию распознавания голосовых сообщений «ВКонтакте». Самым важным параметром для нас была скорость, потому что эта технология призвана экономить время — расшифровка должна занимать его сильно меньше, чем прослушивание аудио. Для этого мы сделали не одну, а целых три очень легких нейросети, которые работают одна за другой: первая отвечает за распознавание звуков, вторая из звуков формирует слова, а третья расставляет знаки препинания.

3. Искусственный интеллект научится быть непредвзятым

Независимо от размеров и областей применения, модели машинного обучения учатся у людей, и это, к сожалению, касается и предрассудков. И здесь мы заходим на территорию на стыке этики и технологий.

Приведу пример, когда прямой подход «статистика отражает реальный мир» не работает. Представьте, что мы хотим автоматически определять токсичные и враждебные высказывания (а в соцсетях мы действительно это делаем). Простое решение заключается в том, чтобы обучить модель на комментариях, которые модераторы помечали как оскорбительные, и считать подозрительными все похожие сообщения. Как думаете, с какой вероятностью такой фильтр отбракует обсуждение сельскохозяйственных животных? Или, например, рецепт сырников из жирного творога и черного шоколада?

Условно, у этой проблемы две грани: технические особенности обучения моделей и понимание этики искусственного интеллекта.

1. Разработчики могут, осознанно или нет, заложить в модель необъективность, например, за счет выбора значимых признаков или набора данных для обучения. Если нейросеть хуже справляется с распознаванием женских или азиатских лиц, потому что ее обучали преимущественно на фотографиях мужчин-европейцев, то это инженерная проблема, которая решается изменением обучающей выборки. Если модели не удается понять сленговый разговор афроамериканцев, то, скорее всего, понадобится модифицировать и модель, и входные данные, но это тоже чисто техническая задача;

2. Модель может «заразиться» человеческими предрассудками, обучаясь на немодерированных данных. Именно это произошло с twitter-ботом Microsoft, который научился у пользователей критиковать феминисток и евреев. На самом деле тот искусственный интеллект не выбирал какую-то конкретную идеологию, и в этом смысле он и не был предвзят, но высказывания в его твитах были взрывоопасные. Что в этом случае должны сделать разработчики ИИ? Объяснить, что такое хорошо и что такое плохо? Но это же только усилит предвзятость.

Однозначной стратегии, как освободить ИИ от предубеждений, еще не выработано, но первые шаги в этом направлении уже делаются. Крупные компании, такие как IBM, Google, Amazon, Facebook и другие, создали некоммерческое партнерство по ИИ, а IEEE (влиятельная международная ассоциация, занимающаяся развитием технологий) разработала инициативу по этике интеллектуальных систем.

4. Искусственный интеллект выйдет на новый уровень

Все, что сейчас принято называть искусственным интеллектом, на самом деле не интеллект, а интеллектуальные системы. В их основе — методы машинного обучения и нейросети, которые пока выполняют отдельно взятые функции. В целом они статичны: даже если модели дообучаются на свежих данных в процессе работы, выучить новые трюки без вмешательства человека они не могут.

Поэтому самая амбициозная и долгосрочная задача для современного машинного обучения — создать универсальную систему, которая сможет непрерывно учиться и осваивать сложные взаимосвязи в устройстве мира.

Мы пока не знаем, что станет ключом на пути к качественно новому уровню искусственного интеллекта. Возможно, у нас уже есть все, что нужно, и не хватает лишь понимания, как это собрать воедино. А возможно, потребуется полный пересмотр нейросетевой концепции. Машинное обучение во многом вдохновляется нейробиологией, которая сейчас тоже быстро развивается. Кто знает, может, скорое научное открытие изменит наш взгляд на представления о работе человеческого мозга или вообще покажет, что лучше подражать не людям, а насекомым, и за роевым интеллектом будущее.

Обновлено 13.05.2021
Автор
Надежда Зуева