Исследователи из Калифорнийского университета в Беркли, Городского центра науки и технологий имени короля Абдаллы в Саудовской Аравии и Вашингтонского университета внимательно изучили, как большие языковые модели генерируют вопросы. Их результаты показывают некоторые явные различия между моделями AI и моделями, используемыми людьми.

Исследовательская группа начала с разработки категорий для различных типов вопросов: от простой проверки фактов до сложных запросов, требующих подробных объяснений. Затем они использовали эти категории для анализа как вопросов, сгенерированных искусственным интеллектом, так и существующих наборов данных с вопросами людей.

Чтобы проверить свои теории, команда изучила, как LLM отвечают на вопросы как с контекстом, так и без него. Экспериментируя с разной длиной ответов, они смогли измерить, сколько информации на самом деле требуется для каждого вопроса, и получить представление о сложности разных типов вопросов.

Чтобы сравнить вопросы, созданные AI, исследователи использовали два разных набора данных, основанных на статьях из Википедии, каждый из которых был создан с помощью отдельного метода. В одном наборе данных вопросы были созданы на основе конкретных текстовых отрывков, а в другом исследователи сопоставили существующие вопросы с соответствующими разделами Википедии.

Команда исследователей обнаружила, что модели AI отдают предпочтение вопросам, требующим подробных объяснений — около 44% вопросов, сгенерированных AI, относятся к этой категории. С другой стороны, люди склонны задавать более простые вопросы, основанные на фактах.

Эти вопросы, созданные искусственным интеллектом, обычно требуют более развёрнутых ответов, даже если они максимально лаконичны. Разница в требуемой длине ответа была значительной по сравнению с вопросами, созданными людьми.