基于深度学习的半监督图像去雾网络

发布日期:2024年4月22日
基于深度学习的半监督图像去雾网络 基于深度学习的半监督图像去雾网络

本内容试读结束

下载后可阅读完整内容,立即下载

针对真实雾图数据集稀缺,难以满足深度网络数据需求的问题,提出了一种基于深度学习的图像增强模型,利用随机掩码来模拟真实雾霾中的不均匀现象,以提高增强雾图的真实性。基于这个模型,搭建了一个半监督图像去雾网络,通过对增强图像自监督进一步提高去雾模型在真实世界的泛化性。实验结果表明,所提出的模型在合成雾图数据集和真实世界雾图数据集上都优于传统的图像去雾算法。

雾霾是日常生活中的常见现象,由悬浮粒子形成。这些悬浮粒子会干扰反射光在场景中的传播。随着图像深度的增加,成像过程将受到严重干扰,会使得图像中的物体变得模糊,细节丢失,色彩变暗。

因此在雾霾天气拍摄的图像通常容易出现低对比度和低清晰度的特点。而这将对一些计算机视觉高级任务造成挑战,如全景分割[1],目标检测[2]等。

视频图像信息处理一直以来都是计算机视觉领域与数字图像处理上一项基础且意义重大的问题。单图像去雾作为其“一员”指的是通过处理单张有雾图像,去除或减轻雾霾,尽可能还原图像中的清晰信息和细节。研究人员发现雾图成像跟大气光照、大气颗粒散射等因素有关,并基于此提出了大气散射模型以表示雾图形成过程: ( )( ) ( )( )( )()1I xJ x t xA xt x=+− (1) 其中,I(x)和J(x)分别表示雾度的输入图像和清晰无雾图像A(x)是全球大气光,t(x)是大气散射图。

求解清晰无雾图像通常是一个不适定问题。

早期基于先验的方法[3] [4] [5] [6]利用雾图与清晰图像之间的统计特性,通过大气散射模型恢复雾图。但这类方法通常只适用于假设场景,一旦模型先验不成立, 往往容易出现不准确的去雾结果。随着近几年深度学习的火热与大规模雾图数据集的普及,许多基于深度学习的去雾方法[7]-[14]被应用到图像去雾中,这些方法通常使用卷积神经网络(CNNs)直接预测清晰图像。但碍于真实雾霾图像的稀缺与监督困难问题,现有的去雾模型往往只能在合成雾图数据集上训练, 而这很容易导致其无法有效处理真实雾图。基于这类问题的约束,我们提出了一个基于局部数据增强模型(EDEM)实现雾度迁移解决真实数据不足问题。

在此基础上, 搭建了一个基于自支持的单图像去雾框架(SSDN)提高模型在真实世界的泛化性。

2. 国内外研究现状 近年来,单图像去雾研究取得了重大进步。一般来说,目前的图像去雾算法可以分为两类,即基于先验的方法和基于深度学习的方法。

2.1. 基于先验的去雾方法研究现状 基于先验的去雾网络通过引入先验信息来提高模型去雾能力利用图像的统计、结构或者其他先验知识,以更好地对雾图分析。何凯明等人[3]通过观察与统计发现在大多数自然场景中,即使是经过雾霾遮挡的图像,在某些非天空局部区域图像中,在RGB 三通道中总会存在至少一个通道是较暗的情况。基于此观察提出了一种基于暗通道先验(Dark Channel Prior, DCP)的单图像去雾方法。该算法在各大数据集上表现良好,但在场景深度变化较为剧烈的区域对于透射率的估计可能不准确,可能会出现光晕效应和颜



相关标签