Sentiment analysis (по-русски, анализ тональности) — это область компьютерной лингвистики, которая занимается изучением эмоциональной окраски текстов.

Анализ тональности нужен для лучшего «понимания» текстов, перевода с одного языка на другой. Сложность задачи заключается в непростых лингвистических конструкциях, которые часто используют люди, подробнее см. в статье Irokez’а.

Даже человек не сразу распознает негатив во фразе вроде «В этой книге хороша только обложка». Как обучить этому компьютер?

Точность определения эмоций у лучших компьютерных программ до сегодняшнего дня составляла не более 80%. Группе учёных из Стэнфорда при участии небезызвестного Эндрю Нг удалось довести её до 85%, а при дальнейшем обучении рекурсивной нейросети точность вполне может повыситься до 95%, говорит один из авторов исследования. Заметим, что 95% — это будет абсолютно феноменальный результат, не все люди способы распознавать сарказм и определять тональность слов с такой точностью.

Для первоначального обучения нейросети учёные использовали набор данных из 12 000 кинорецензий, которые разбили на отдельные фразы с помощью автоматического парсера. В результате получилось 215 тыс. фраз.

Каждая из них была прочитана тремя людьми с проставлением оценки по степени положительной или отрицательной тональности.

На скриншоте показан интерфейс, который предлагался пользователям Amazon Mechanical Turk.

источник: habr.habrastorage.org

Авторы создали модель NaSent (Neural Analysis of Sentiment), которую называют рекурсивной тензорной нейросетью (Recursive Neural Tensor Network) для обработки отдельных слов в каждой фразе, построения дерева взаимосвязей и анализа, какую эмоциональную окраску несёт каждое слово и как слова влияют друг на друга.

В онлайновом демо можно изучить, как работает программа. Она строит дерево с оценкой каждого слова, каждой фразы и всего текста целиком. Уникальность программы можно оценить на следующих двух примерах, которые состоят из одних и тех же слов, но в разном порядке, что меняет тональность предложения — и программа это понимает.

источник: habr.habrastorage.org

Анализ фразы «Unlike the surreal Leon, this movie is weird but likeable» выдаёт общий положительный результат (синий), сочетание «странный, но приятный» правильно распознаётся как положительное

источник: habr.habrastorage.org

Фраза из тех же слов, но в другом порядке «Unlike the surreal but likeable Leon, this movie is weird» корректно распознаётся как отрицательный отзыв (красный цвет в общей оценке)

Кстати, онлайновое демо одновременно является инструментом для обучения нейросети. Каждый пользователь может предложить программе произвольный текст для анализа — и скорректировать результат.