Объектом компьютерного анализа становится эмоциональная окраска картинок

В статье, представленной на состоявшейся на прошлой неделе в Остине (штат Техас) конференции Американской ассоциации искусственного интеллекта (AAAI), сотрудники Adobe Research и Рочестерского университета описали обучающий алгоритм, который позволяет компьютерам извлекать дополнительную информацию из изображения — определять, какие эмоции оно должно пробуждать.

Эта возможность алгоритма CNN (convolutional neural network) может оказаться полезной для измерения экономических индикаторов или прогнозирования результатов предвыборной кампании.

Эмоциональный анализ даже для текста является непростым делом. В социальных сетях задача еще более усложняется, так как многие там используют для самовыражения картинки и видео, плохо поддающиеся алгоритмическому анализу.

Например, две картинки могут изображать одного и того же кандидата в президенты, но нести противоположную политическую нагрузку: позитивную, если кандидат улыбается и поднимает руки, или негативную, если он выглядит подавленным. Для наблюдателя-человека эмоциональная окраска картинки будет очевидна, но он не в состоянии просмотреть все фото в соцсетях, чтобы оценить популярность кандидата. Это настоящая задача Big Data, которая под силу лишь компьютеру, вооруженному нужным алгоритмом. Авторы статьи постарались сделать такой алгоритм максимально точным.

Процесс обучения они начали с SentiBank, огромной выборки изображений Flickr, сгруппированных в Колумбийском университете по чувствам, которые они вызывают. Но эта каталогизация производилась также машинным алгоритмом, и поэтому не давала полной гарантии правильности. Самым важным для совершенствования точности этапом стал следующий, на котором неоднозначные образцы были исключены, и тренировка нейросети продолжалась с использованием только изображений с корректной маркировкой.

«Тонкая настройка» движка чувственного анализа производилась на фотографиях из Twitter, для эмоциональной разметки которых была использована крауд-платформа Amazon Mechanical Turk.

Одной из неожиданностей для участников работы стало то, что точность классификации эмоций оказалась выше для изображений, чем для текста из тех же самых сообщений Twitter: картинка и в самого деле стоит тысячи слов.

Ready, set, buy! Посібник для початківців - як придбати Copilot для Microsoft 365