Японские учёные из Университета Кюсю создали нейросеть, определяющую жанр книги по ее обложке.

Исследователи создали четырехслойную сверточную нейросеть (CNN), каждый из слоёв которой состоит из 512 нейронов. Для обучения нейросети ученые загрузили в неё 137788 уникальных обложек книг с Amazon, классифицированных по 20 различным жанрам. Для каждой книги авторы исследования указали только один жанр — который указан на сайте первым.

В ходе испытаний алгоритм научился верно определять жанр в 21,9 % случаях.



Некоторые жанры оказались более легкими для распознавания, чем остальные. Например, нейросеть сравнительно легко распознает книги о туризме и компьютерных технологиях, потому что дизайнеры используют типичные изображения для книг этих жанров. Также легко программа распознаёт поваренную книгу, если на обложке находится изображение еды, однако испытывает затруднения, если вместо этого на обложке находится, например, портрет шеф-повара.

Биографии и мемуары алгоритм часто относит к смежному жанру исторической литературы, путает детские книжки с комиксами и графическими романами, и почти не отличает медицинскую от другой научной литературы.

Исследование имеет существенный недостаток: ученые не сравнили результаты работы машины с результатами человека. В частности, полезно было бы узнать, насколько точно определить жанр книге по обложке могут пользователи платформы Mechanical Turk на Amazon.