基于各向异性扩散的显著度检测方法与流程

本发明涉及基于各向异性扩散的显著度检测方法，属于图像处理技术领域。

背景技术：

近些年来，随着大量显著度检测算法的提出，显著目标检测技术得到了飞速发展，但仍存在一定不足。复杂图像中目标尺度不一致、分布不均匀都会增大检测的难度，造成检测的不稳定性。而且当图像中存在由于光照变化或噪声引起的区域边缘模糊现象时，检测效果并不理想。

现有的基于距离度量的方法是采用距离度量图像单元之间的对比度，但通常无法有效区分不同图像区域的拓扑结构或由于噪声影响容易对图像结构信息描述不准确。基于结构信息的方法如流形排序结构、随机游走结构和马尔可夫结构等，都通过研究无向图中的流形排序或随机游走等特性来分析图像结构信息，然而排序或游走的过程容易受到光照变化或噪声干扰，从而影响对于边缘不清晰问题的检测准确性和稳定性。

技术实现要素：

本发明旨在克服现有技术中存在的不足，针对上面的问题，提供一种基于各向异性扩散的显著度检测方法。该方法充分利用图像区域之间的拓扑结构信息，以及各项异性扩散能够自主感知区域边缘、保留重要结构并去除噪声的特性，得到图像区域的结构连通性信息。将图像的显著度定义为基于各向异性扩散的边界连通性结构信息与基于颜色差异表达的外观全局对比信息相融合的结果，有效衡量图像单元的之间的对比度，达到准确鲁棒地检测显著目标的目的。

本发明的技术方案：

基于各向异性扩散的显著度检测方法，包括以下步骤：

第一步，基于超像素分割的无向图表达；

第二步，基于各向异性扩散的边界连通显著性度量；

第三步，外观对比显著性度量；

第四步，显著图融合和优化；将得到的边界连通显著图与对比度显著图以像素级的方式相融合，得到初始显著图；再分别采用中心先验准则和对比度增强两种后处理方法优化初始显著图，以增强初始显著图的图像中心的视觉效果和目标-背景之间的对比度，生成最终显著图结果。

其中，融合的显著图中既包含了基于各向异性扩散描述的边界连通性结构信息，也包含了基于颜色差异表达的外观全局对比信息，将两者相结合，共同度量图像的显著度。

本发明原理：图像中属于同一区域内的像素点是相互连通的，不同区域之间的像素连通性大大降低，而且同区域内的像素与不同区域间的像素特征差异相比较小。因此，本发明从图像的结构连通性角度出发，采用各向异性扩散模拟图像的拓扑结构，计算图像单元的边界连通性。并将基于各向异性扩散的结构连通信息与基于颜色差异的外观对比信息融合在一起，共同衡量图像对比度，得到对自然场景图像中目标的显著度检测。

本发明的有益效果：与现有的显著度检测方法相比，该方法生成的显著图更均匀，目标边缘轮廓更清晰准确，能够有效解决复杂自然图像目标分布不均匀、尺度不一致增大检测难度的问题以及由光照变化或噪声引起的边缘不清晰问题。

附图说明

图1为本发明方法的基本流程图。

图2为各向异性扩散示意图。

图3为基于各项异性扩散的边界连通性显著图结果图：(a)为原始图像与其边界连通性显著图；(b)-(e)为不同迭代次数的各向异性扩散度量边界连通性的显著图结果。

图4为dut-omron数据集上不同方法的显著图视觉比较图：其中，(a)原始图像；(b)真值图；(c)sf；(d)mr；(e)hs；(f)gr；(g)gs_sp；(h)rbd；(i)ours。

图5为asd数据集上基于不同结构信息的显著度检测方法比较图：其中，(a)为pr曲线；(b)为mae值。

图6为asd数据集上与其他性能突出的显著度检测方法比较图：其中，(a)为pr曲线；(b)为mae值。

具体实施方式

以下结合附图和技术方案，进一步说明本发明的具体实施方式。

本发明的方法流程如图1所示，主要包括四个步骤：基于超像素分割的无向图表达、基于各向异性扩散的边界连通显著性度量、外观对比显著性度量和显著图的融合优化。

第一步：基于超像素分割的无向图表达。

(1.1)采用简单线性迭代聚类(slic)算法对原始图像进行分割，得到形状规则、视觉均匀、大小一致紧凑的超像素块，每个超像素块由颜色或纹理等特征相似的像素组成。

(1.2)以步骤(1.1)得到的超像素块作为无向图顶点，每个顶点都与其空间域内周围颜色特征最相似且位置最相近的近邻点之间有边连接，并将两顶点之间连接边的权重定义为特征空间中两点的特征差异，形成近邻图g(v,e)。其中，v表示顶点集合，e表示边的集合。

(1.3)在近邻图g(v,e)上通过提取和合并最小生成树(mst)构建k-边图模型。具体步骤为：将近邻图g(v,e)上的一棵mst的边移除；接着生成第二棵mst并将其边移除；以此类推，依次将生成的k个mst从近邻图g(v,e)上移除；再将k个mst进行合并得到k-边图。该k-边图的特性在于，既能够保持整幅图像连通，又能使每个超像素节点都能与其k个最近邻节点相连。

第二步：基于各向异性扩散的边界连通显著性度量。

(2.1)各向异性扩散模拟图像结构信息

在k-边图模型中，每个超像素节点有k个最近邻，即颜色相似且位置相近的节点，则每个超像素节点有k个扩散方向。对于一幅图像i(x,y)中的任意超像素节点i的各向异性扩散迭代方程如下：

其中，为t时刻稳定状态下超像素节点i的扩散值，x和y分别表示图像中超像素节点i的坐标，扩散参数▽是梯度算子，▽1i,▽2i,…,▽ki表示当前超像素节点在k个方向上的梯度，以当前超像素节点与每个方向相邻点之间的差异来近似，本发明选取k＝8，以图2表示扩散方向示意图，则相邻点之间的梯度如公式(2)所示。c1,c2,…,ck分别表示k个方向的扩散传导系数，控制扩散的速率，如公式(3)所示。

其中，m为边缘灵敏度参数，且m＞0。

由公式(3)可得，当扩散到区域边缘结构时，梯度值增大，扩散系数减小，扩散速率降低。保证了扩散过程主要发生在区域的内部而不影响到区域的边缘，抑制了跨边缘的扩散。因此，各向异性扩散不会随着区域边缘的分布或位置变化而影响扩散的效果，能够保持迭代过程中各向异性扩散的稳定性。

通过各向异性扩散实现自动边缘感知，在迭代的过程中平滑图像，能够去除原始图像中杂乱背景和冗余噪声，保留图像区域(如目标轮廓等)的主要边缘结构。实验中，设置k＝8，m＝40，λ＝0.15，t＝20。另外，为了方便计算后续的边界连通性，本发明将图像中位于坐标(x,y)处的超像素节点i在时刻t时的扩散值ixt,y简化表示为it(i)。

(2.2)边界连通性度量

以分布于图像四个边界上的超像素为背景节点，超像素节点i的边界连通性bc(i)为：

其中，n表示图像中超像素节点的数量，bnd为属于图像边界的超像素节点的集合；it(i)和it(j)分别表示超像素节点i和j的扩散值，σ为bc(i)的控制参数。

由公式(4)可知，当两个超像素节点i和j属于同一区域时，特征相似度大，两点相连通；当两点属于不同区域，即存在强边缘阻碍了各向异性扩散时，两点连通性极小。如果将超像素看作单位长度的正方形，则公式(4)可理解为在图像边界上与超像素节点i相连通的点的长度，与整幅图像上与超像素节点i相连通点的面积平方根之比，为超像素节点i的边界连通性。

然后，以边界连通性的高斯函数来计算超像素节点的显著度值s^bc，使超像素节点的边界连通性越大时，其显著度值越低，得到边界连通显著图的显著度值s^bc，公式如下：

其中，σbc为s^bc的控制参数。为了保持结果的稳定性，实验中设置σ和σbc分别为0.25和1。基于各项异性扩散的边界连通显著性度量的结果如图3所示，可以看出，随着迭次数的增大，各向异性扩散能够逐渐将杂乱的背景过滤掉，显著目标的边缘轮廓越来越清晰。

第三步：外观对比显著性度量。

当图像中目标区域与图像边界接触长度过长时，容易造成结构连通度大大降低，从而导致检测结果不准确。由于观察到目标与背景在外观对比如颜色等方面往往存在很大不同，因此本发明引入外观对比度来突出目标与背景之间存在较大差异的区域。

首先定义围绕图像边界处[10,30]个像素的宽度为初始背景区域(本实施例中选取10个像素)，并以此为基础计算图像外观对比的显著度。然后，在cie-lab颜色空间中通过k-means算法将初始背景区域的像素分为k类，实验中设置k＝3以描述大部分背景区域。接着，对于每一类背景区域中的所有像素，计算cie-lab颜色空间中的平均颜色值和协方差矩阵分别为和qk＝[qab]3×3。那么，对于图像中任意一个超像素节点，设其颜色值为μ，则其对比度定义为与每类背景像素分布之间的马氏距离，即

对比度经过归一化处理，得到[0,1]范围的外观对比度值。因此，将每个超像素节点的外观对比度定义为与k类背景的对比度之和的平均值，即对比度显著图的外观对比度为s^ac，公式如下：

第四步：显著图融合和优化。

(4.1)显著图融合

本发明将每个超像素的显著度值分配给该超像素所包含的所有像素，并将得到的边界连通显著图与对比度显著图以像素级的方式相融合，得到初始显著图。初始显著图既包含了基于各向异性扩散描述的边界连通性结构信息，也包含了基于颜色差异表达的外观全局对比信息，将两者相融合，共同度量图像的显著度，初始显著图的显著度为s的计算公式如下：

s＝s^bc·s^ac(8)

(4.2)显著图优化

考虑到拍摄者通常会将目标物体靠近构图的中心附近而很少放在边界处，而且数据集中的图像通常也将显著目标置于图像中心附近，因此，采用中心先验准则对初始显著图s进行优化和增强处理，即

其中，w和h分别为输入的初始显著图的宽度和高度，x和y分别为像素i的水平和垂直坐标，dxy为像素i的显著性加权值。中心先验准则为靠近图像中心的像素赋予较大的权值，因此每个像素的显著度更新为s′，公式如下：

s′＝sdxy(10)

最后，采用如下优化函数来增强目标与背景的对比度，得到最终显著图结果：

其中，sgn·是阶跃函数，ε是基于otsus二值化方法的自适应阈值，σenhance是控制对比度的预设参数，本发明设置σenhance＝1。g(s)表示经过中心先验和对比度增强两种后处理优化过程后的每个像素的最终显著度值。

现从定性和定量两个方面对提出的基于各向异性扩散的显著度检测方法的实验结果进行分析。

就定性分析方面，本发明在处理不同尺度、形状和分布的显著目标检测能力上与六个性能突出的显著度检测算法比较，目前从视觉效果上进行观察。如图4所示，本发明选择在显著度检测数据集dut-omron上的5166幅图像上进行验证，本发明得到的显著目标内部更均匀，对目标的边缘检测更清晰完整，表现了最好的整体性能。

就定量分析方面，主要采用精确率-召回率(precision-recall,pr)曲线和平均绝对误差(mae)两个评价准则来衡量基于各向异性扩散的显著度检测的效果和整体性能。包括两部分：

(1)与基于结构信息的显著度检测模型比较。在asd数据集的1000幅图像上对现有的几种基于结构信息的显著度检测算法(bm、mst、mr、mc、gb)与本发明的方法做以对比，并形成pr曲线和mae结果，如图5所示。本方法在pr曲线上取得了较高的精确率、召回率，并同时取得较低的mae值，表现了优良的总体性能。

(2)和其他显著目标检测算法的效果对比。同样在asd数据集的1000幅图像上进行验证，选取本方法与性能突出的it、ft、sf、rc、gs_sp和rbd方法比较，所得的pr曲线和mae结果如图6所示。在pr曲线上本方法仅略低于rbd方法，但在mae值上本方法取得了最低的误差值。实验结果表明，基于各向异性扩散的显著度检测方法具有更好的准确率和稳定性。