基于深度学习的多模态服装风格检索

近年来虽然深度学习在服装检索领域有了很多不错的成果，但是研究者们对服装风格研究却很少。消费者往往通过自己喜欢的风格来检索搭配的服装，或者是消费者更愿意检索到与自己穿衣风格相似的服装。现有的服装风格研究者只是将服装风格进行分类，通过用户输入图像为消费者识别喜欢的风格，然而这样的检索结果只能返回与该图像风格相似的服装，而不能与输入的图像完成搭配。因此本文从服装风格的整体兼容性出发，将每件服装单品视作单词，按照Word2vec中的单词相似性概念，分别提出了基于文本的风格检索模型以及基于图像的风格检索模型。最后将获取到的两种模态信息进行特征融合，提出了一个多模态风格检索模型。实验结果表明，在Polyvore多模态数据集上，按照前人研究者的服装风格相似性评判标准，多模态融合的服装风格检索方法比单模态风格检索以及其他多模态混合风格检索方法所获取的结果列表的平均相似度更佳。

消费者在购买平台挑选衣服时不仅仅讲究是否合体，而且对衣服的款式、展示的风格有着更高的需求。用户也更偏向于选购自己喜欢的风格的服装。近年来对服装的检索多是基于用户购买历史数据来为消费者推荐服装[1]，如果消费者没有历史购买数据，或者数据较为杂乱，那么如何在没有这些背景信息的情况下了解服装风格不但能够帮助消费者选择衣服，而且能够协助设计者和制造商更好地设计消费者所要求的衣服。识别一件服装的风格是十分具有挑战性的，近年来，一个较为普遍的办法是将服装预定义为如图1 所示，类似a：学院风，b：休闲风，c：朋克风等类型的风格集。最近使用该方法的是[2] [3] [4]，风格集是一些不同类别但风格相似的集合。但是使用人工来预定义风格的方法，几乎不可能精确的定义一组足以描述风格这种微妙的属性，在大量投入工作量的同时，还可能出现错误的风格分类。另外还有研究者通过主题模型来分析一件服装潜在的风格[5]。

然而这些研究只是为消费者识别出服装的风格， 而我们要做的是为消费者找出风格相似或者风格兼容可搭配的其他服装单品。

Figure 1. Style set 图1. 风格集