The Verge испытал нейросетевых чат-ботов Google Bard, Microsoft Bing и OpenAI ChatGPT в различных сценариях, чтобы можно было понять, чем они отличаются, и для каких целей лучше использовать каждый из них. Отличий и особенностей нашлось немало.

В Bing используется та же языковая модель GPT-4, что и в ChatGPT, но ответы на одни и те же вопросы в разных системах отличаются. ChatGPT сосредоточен на ведении беседы, а Bing может генерировать изображения и искать информацию на сайтах. Впрочем, в скором времени OpenAI выпустит плагины, которые позволят ChatGPT делать то же самое. Bard, в свою очередь, оказался сильно ограниченным в сравнении с конкурентами, то есть сфера его применения гораздо более узкая.

К особенностям всех нейросетевых ботов относится то, что генерируемый ими контент не должен восприниматься как абсолютно верный, поскольку он является компиляцией из уже существующих данных, собранной на основе обучения и вероятностных метрик. Ответ сильно зависит от содержания вопроса и может меняться в зависимости от формулировок и уточнений.

Журналисты задавали ботам одни и те же вопросы и сравнивали полученные ответы.

Как победить Malenia в Elden Ring?

Это не такая простая задача: требуется определённый набор оружия и ударов, а это значит, что бот должен уточнить, имеется ли у игрока необходимый арсенал.

Bing дал наиболее точный ответ и даже рассказал, что у Malenia имеется уникальная способность восстанавливать энергию, хотя и не раскрыл, как она работает, хотя именно это и является ключом к победе.

Bard предложил несколько стратегий, но затруднился ответить, почему он считает их наиболее эффективными. Ответ этого бота больше походил на описание способностей босса, а не на инструкцию к определённой битве.

ChatGPT предоставил самый слабый ответ, что неудивительно, ведь он натренирован в основном на данных, полученных до 2022 года, а игра вышла в прошлом году. Бот дал общие советы в духе «блокируйте её ответные атаки», хотя на самом деле это то, что не нужно делать.

Дай мне рецепт шоколадного торта

Рецепты одного и того же блюда сильно отличаются друг от друга в зависимости от того, что хочет получить повар. Торт может быть пышным или низким, сочным или песочным, с начинкой тоже можно экспериментировать. Ясно одно — что бы чат-бот ни посоветовал, он не готовил это и не знает, вкусно ли получается.

ChatGPT поделился рецептами с разных сайтов, подробно расписал, какие ингредиенты нужны и дал несколько дельных советов по технологии приготовления, которых не было на исходных ресурсах.

Bing взял рецепты из открытых источников, но почему-то напутал с пропорциями (например, сократил количество сахара для крема вдвое).

Bard тоже позволил себе вольности с ингредиентами и зачем-то уменьшил время запекания. Некоторые ошибки были фатальными: например, он посоветовал использовать сливки вместо молока и кофе вместо воды. Кроме того, рецепт для коржа он взял с одного сайта, а рецепт крема с другого, поэтому результат мог оказаться несбалансированным.

Как добавить RAM в ПК?

Все три системы дали хорошие советы, но могло быть лучше. В большинстве компьютеров для обеспечения высокой производительности нужно использовать оперативную память в двухканальном режиме, причём планки необходимо вставлять в определённые слоты. Иначе можно потратить немало денег на апгрейд и получить в итоге даже более слабый компьютер, чем был раньше.

ChatGPT рассказал обо всех ключевых этапах установки RAM, в том числе о проверке работоспособности памяти в BIOS. Но он забыл упомянуть, что для памяти с технологией Intel XMP необходимо включить эту функцию в BIOS, иначе тактовая частота будет намного ниже. Также он ничего не написал о том, что оптимальным будет установка двух планок памяти в определённых слотах (1-3 или 2-4).

Напиши мне стишок о червяке

Если чат-боты допускают фактологические ошибки, возможно, креативность их конёк? Написание стихотворений непростая задача, ведь стихи строятся по определённым правилам, в них должен быть смысл и часть души поэта. ChatGPT лучше всех справился с задачей, а у Bing и Bard проза получается лучше.

Ни одна из систем не смогла попасть в анапестический тетраметр (поэтический размер, в каждой строке которого четыре анапестических метрических стопы, а каждая стопа состоит из двух безударных слогов, за которыми следует ударный слог). ChatGPT лучше других описал повседневную жизнь червя, тогда как другие нейросети ограничились лишь описанием самого червя и его роли в жизни планеты.

Немного простейшей математики

Удивительно, но нейросетевые чат-боты, работающие в сложнейших математических системах, иногда показывают очень плохой результат при решении простейших математических задач. К примеру, когда их спросили, сколько получится, если 2230 увеличить на 20% (правильный ответ 2676), Bard умудрился ошибиться на 10, а Bing и ChatGPT ответили верно. В примерах на умножение и деление Bard снова показывал себя хуже всех. Ни один из ботов не дал верный ответ, когда их спросили «каким будет ежемесячный платёж и общая переплата, если взять 125 тысяч долларов ипотеку на 25 лет под 3,9% годовых?», а Bard и Bing при повторении этой задачи несколько раз умудрялись давать разные ответы.

Решение логических задач

Одна из важнейших и сложнейших задач, которые стоят перед разработчиками, — решение логических задач методом дедукции. В одной из таких задач, к примеру, рассказчик упоминает, что поместил бриллиант в конверт и положил его во внутренний карман костюма, причём этот рассказ усложнён различными подробностями о том, как человек провёл день. Боту предлагается сказать, где находится бриллиант. Только ChatGPT ответил правильно, а остальные боты пытались анализировать весь текст, полагая, что в этом есть какой-то смысл, и в какой-то момент сбивались с верного пути.

Придумай план тренировки для участия в марафоне

ChatGPT составил подробнейший план поэтапной подготовки к марафонному забегу. Bing дал несколько общих рекомендаций и переадресовал на профильный сайт. Bard зачем-то сократил время подготовки к марафону с трёх месяцев до трёх недель.

Вывод: выбирайте правильный инструмент для каждой задачи

Эти тесты показали сильные и слабые стороны каждой из систем. ChatGPT более креативен и настроен на разговор, Bing усиленно пытается заменить собой Google и при каждом ответе лезет на сайты, а Bard можно использовать для получения точной и актуальной информации из достоверных источников (например, биржевые сводки).

Стоит отметить, что результаты эксперимента актуальны лишь на момент его проведения. Чат-боты стремительно развиваются и меняются, поэтому спустя какое-то время у них наверняка не будет тех недостатков, которые наиболее сильно выпирают сейчас.