基于语义链接网的图像自动标注

自动图像标注是机器视觉领域中的一项具有挑战性的课题。大多数传统方法聚集在视觉图像与标注概念

图像的自动语义标注是多媒体内容智能管理的重要环节。作为一种解决方案，基于概念分类器的图像自动标注方法被提出来了， 其识别的语义标注概念可能包括自然(例如，地平线、倒影和瀑布)或者场景(例如，城市、非洲和港口)，它们皆来自于一个语义概念单词本。很多标注方法[1]基于一种假设：标注概念是彼此独立无关的。然而，语义概念并非孤立存在。相反地，它们是高度相关的，或者说，在这些语义概念之间存在着语义关联。例如，单概念“树”和“山”往往与“天空”共同出现在图像中，表明它们之间是有强语义依赖的。反过来，三个单概念“海洋”、“桌子”与“沙漠”则没有什么语义依赖关系，它们不太可能同时出现在一副图像中。除此之外，这种语义依赖还可以延伸到场景多概念范围。

例如，对于以城市为主题的图像库，一个单概念“城市”与一个场景多概念“街道，房子”很可能频繁地共现在图像中。可以考虑利用这些语义关联去更准确地推断图像的语义标注，尤其是当一副图像的底层视觉特征不足以判断出正确的语义标注的时候。

语义概念及其相互依赖关系可以被组织起来构成一个语义链接网，它由语义节点和带权重边组成。

不同于已有的语义网，提出的语义链接网的每一个节点划分为两种类型：语义单概念(如“鲜花”)与场景多概念(如“网球，球场，球手”)，它们皆抽取于图像集。每一个场景多概念节点被视为一个整体，即一个整体场景概念，它描绘了一副图像的场景或者某个语义主题。带权重边代表语义概念之间的语义依赖关系，含有较强语义依赖关系的节点边则具有较高的权重。对于上述这两类语义节点，分别使用单概念分类器和多概念分类器去学习它们。为了估算语义边的权重，采用了两个数据资源：全局图像语料库与本地图像语料库。使用这两类语料库去抽取语义是基于如下的考虑。

使用全局语料库可以抽取通用语义，具备一定的准确性，然而这种全局语义的抽取仅仅考虑了全局语料库，其是独立于本地图像库的外来异质语料库，并未完全反映本地图像集的独有特性，这可能会影响图像自动标注的准确度。另一方面，对于带有大单词表{}1, , , , iLVccc=的本地图像语料库，其语义概念ci 的分布很有可能是高度不平衡的。假若仅以本地图像语料库为数据源，抽取的局部语义依赖很可能不能反映真实的语义关系， 极有可能会导致过度拟合的现象， 这会损失图像语义标注的鲁棒性。

因此， 仅考虑单个数据源的语义抽取方法具有一些局限性，而结合全局语义与局部语义的方法或许能够引起这种局限的弱化。

借助于语义链接网完成图像的语义标注，主要基于这样几个考虑。1) 在包含大单词表的图像库里，