Стартап Anthropic смог расширить контекстное окно ввода своего чат-бота Claude до 75 000 слов — это большое улучшение по сравнению с текущими моделями. Компания заявляет, что чат-бот может обработать целый художественный роман менее чем за минуту.

Часто упускаемое из виду ограничение для чат-ботов — это память. Хотя языковые модели ИИ, лежащие в основе этих систем, действительно обучаются на терабайтах текста, объем, который эти системы могут обработать во время использования, весьма ограничен. Для ChatGPT это около 3000 слов. И хотя существуют способы обхода этих ограничений, однако этого все равно мало. Компания Anthropic, основанная бывшими инженерами OpenAI, значительно расширила контекстное окно для своего чат-бота Claude, доведя его до 75 000 слов. Как она отмечает в своём блоге, этого достаточно, чтобы обработать произведение «Великий Гэтсби» за один раз. Фактически, компания протестировала систему, отредактировав одно предложение в романе и попросив ИИ заметить изменение. Это произошло за 22 секунды.

Языковые модели ИИ измеряют информацию не количеством символов или слов, а токенами – семантической единицей, которая не всегда коррелируется с количеством символов, а так как слова могут быть длинными или короткими, их длина не обязательно соответствует количеству токенов. В этом отношении контекстное окно Claude превосходит модель OpenAI, так как может оперировать 100 000 токенам по сравнению с 9 000 ранее, в то время как полнофункциональная модель GPT-4 с может обрабатывать до 32 000 токенов.