-
图像质量评估：从误差的可见性到结构相似性
Zhou Wang, Member, IEEE, Alan Conrad Bovik, Fellow, IEEE, Hamid Rahim Sheikh, Student Member, IEEE, and Eero P. Simoncelli, Senior Member, IEEE
摘要
我们评估视觉图像质量的传统方法是去量化可见的误差，这个误差评估是在失真图像和采用了人类视觉系统特性的参考图像之间进行的。在我们的假设中，人类视觉视觉系统非常容易从一个场景中提取结构信息，因此我们引入了一种替代互补架构，用来对结构信息的退化进行质量评估。作为此概念的一个实例，我们引入结构相似度指数（StructuralSimilarity Index），然后用一组直观的例子证明它，同时把SSI与主观评级和图像数据库先进客观算法作了比较，该数据库是基于JPEG和JPEG2000压缩技术的。
索引词—误差灵敏度，人类视觉系统（HVS），图像编码，图像质量评估，JPEG，JPEG2000，视觉质量，结构信息，结构相似度（SSIM）。
1、介绍
数字图像在采集、处理、压缩、存储、传输和再现过程中会产生各种各样的失真，其中任何一个都可能导致视觉质量的退化。为了使图像最终能够被人类看懂，唯一正确的视觉图像质量量化方法就是主观评估。然而在实践中，主观评估通常不太方便，不但耗时，而且昂贵。我们对客观图像质量评估进行研究的目的，是想开发一种能自动预测图像质量的量化指标。
客观图像质量指标可以在图像处理应用中扮演各种角色。首先，它可以用于动态监测和评估图像质量。例如，一个网络数字视频服务器可以检测传输视频的质量，来控制和分配媒体流资源。其次，它可以用来优化图像处理系统参数和算法。例如，在视觉传输系统中，质量指标可以在预滤波器的优化设计，编码器中的比特分配算法，误差隐藏解码器中的后滤波算法几个方面提供帮助。第三，客观图像质量指标可用于基准图像处理系统和算法中。
我们可以用原始图像与失真图像做比较，然后用比较之后图像的可用性来对客观图像质量指标来进行分类。现有的大多数方法都可以称为全参考评估方法，这意味我们把一个完整的参考图像认为是已知的。然而在许多实际应用中，参考图像是不可用的，我们迫切需要一个不需参考或“盲目”的质量评估方法。在一部分方法中，参考图像仅是部分可用的，以提取特征作为边缘信息，来协助评估失真的图像的质量。这种方法被称为
总结
-
部分参考评估方法，本文重点研究的是全参考图像质量评估。
最简单和最广泛使用的全参考质量指标是均方误差（MSE），均方误差可以通过对图像失真程度的不同和参考图像的像素取均方来得到，还随着峰值信噪比（PSNR）的相关量而改变的。它们计算很简单，有明确的物理意义，并且可以在数学上进行优化，但是不能很好和视觉视觉质量相匹配。在过去的三年中，人们在利用人类视觉系统（HVS）的特性改进质量评估算法方面花了很大的经历。人们提出的大多数视觉质量评估模型都遵循校正MSE算法，这样可以将误差的能见度作为判定标准。第二部分总结了这种误差灵敏度的类型，并讨论了其难点和局限性。在第三节中，我们描述了一个新的质量评估X式，该X式是基于人类视觉系统高度适合提取结构信息这一假设的。作为一个实例，我们定义了一种测量结构相似度（SSIM）方法，该方法通过比较局部像素的强度来进行测量，并且像素已经在亮度和对比度进行了标准化。在第四节中，我们比较不同质量评估模型的试验结果和一组主观评级由344个图像构成的数据库，该数据库是基于JPEG和JPEG2000图像压缩的。
Ⅱ、基于误差灵敏度的图像质量评估算法
一个图像信号可以看作是未失真的基准信号和误差信号之和。我们大量采用的假设是，视觉质量的损耗与误差信号的可见性是直接相关的。均方误差（MSE）是实现这个概念的最简单方法，MSE能够客观量化信号强度的差值。但是两个具有相同MSE的失真图像也可能有不同类型的误差，其中一些比另一些的误差明显的多。在文献中有一种最贴合视觉性的图像质量评估方法，该方法尝试根据误差信号的可见度来衡量误差信号的不同方面，并且通过人类的心理测量或者动物生理学来确定。这种方法是Mannos和Sakrison首创，并且已经被其他研究人员发展。
总结
-
A. 总体架构
图1说明了一个通用的图像质量评估框架，该框架是基于误差灵敏度的。大多数视觉质量评估模型可以用一个类似的图来描述，虽然它们的细节不同。
? 预处理：这个阶段通常执行各种基本的操作，将图片消除已知的失真。首先，失真
信号和基准信号应该正确的压缩和匹配。第二，信号可能被转化为成色彩空间，这样对视觉更为适合。第三，质量评估指数可能需要改变数字像素的值，将数字像素的值通过非线性变换变成可以在显示器上的显示的亮度值。第四，我们可以使用一个滤波器，该滤波器能够模拟眼视光学的差分函数。最后，我们可以通过非线性点运算来模拟眼睛的光适应，来修改基准图像和失真图像。
? CSF滤波：对比敏感度函数（CSF）描述了在不同的空间频率和时间频率上，人眼
在视觉激励中的敏感性。有些图像质量指数包含了一个部分，该部分根据这个函数定义信号的权重（通常使用接近的CSF的频率响应的线性滤波器）。许多最近提出的指数都选择CSF作为信道分解后判定灵敏度基准的标准化因子。
? 信道分解：图像信号通常被分离到次频带，在次频带中可以有选择性的识别时间频
率，空间频率和空间方向。其他质量评估算法，实现复杂信道分解，他们认为信道分解和视觉皮层的神经反应密切相关，许多指数使用简单的变换，如离散余弦变换（DCT），可分离小波变换，时间频率的信道分解也被用来进行视频质量评估。 ? 误差标准化：在每个信道中，基准信号和失真信号之间的误差，根据一定的掩蔽模
型进行计算和标准化。考虑到这样的事实，在临近的空间位置，时间位置，空间频率和空间方向上，一个图像分量的存在会降低另一个图像分量的可见性。标准化机制用空间自适应的视觉阈来衡量信道中的误差信号。每个点的视觉阈是基于一个邻域内基准信号和失真信号的强度，以及该信道的基础灵敏度来计算的。标准化过程的目的是将误差转换成最小可觉差（JND）单元。
? 误差合并：所有图像质量指指数的最后一步，在图像的空间幅度上合并标准化误差
信号，并且通过不同的信道转换成单一的值。对于大多数质量评估算法，误差合并通常采取闵可夫斯基规X如下：
1E({el,k})?(??el,k?)?lk(1)
总结
-
?
el,k是第l信道中第k个系数的标准误差，?是一个1和4之间常数。闵可夫斯
基合并可以表现在空间上（指数k），然后在频率上（指数l），或反之亦然，具有一定的非线性，或可能与不同的指数?。空间图表明不同区域的相对重要性也可用于提供空间移变加权。
B. 局限性
误差灵敏度算法的基本原理是，估计视觉质量最好的方法，就是量化误差的可见性。这是早期模拟人类视觉系统（HVS）时完成的功能特性。虽然这种自底向上的方法的问题已经被普遍接受了，重要的是要认识到它的局限性。特别是，人类视觉系统（HVS）是一个复杂的、高度非线性的系统，但大多数早期视觉模型是基于线性和拟线性算子，通过简单和有限的激励。因此，误差灵敏度算法需要一系列的强假设和强概化。 ? 质量定义问题：传统方法的最基本的问题是图像质量的定义。特别是，它是不明确
的，误差的可见性应该等同于图像质量的损耗，因为一些失真虽然清晰可见，但并不是那么有异议。一个明显的例子是一个基于全局比例因子的图像强度乘法。在[ 29 ]的研究还表明，图像保真度和图像质量之间的相关性是只能是一定的。
? 超阈值问题：许多基于误差灵敏度模型的基础上的心理物理学实验，专门来估计阈
值，看看那种激励几乎无法看见。这些测得的阈值然后被用于确定视觉误差灵敏度的方法，例如在CSF和掩蔽效应中。然而，很少有心理物理学研究表明，近阈模型是否可以推广到视觉表现失真显著超过阈值的情况。在超阈值X围，不同信道间的相关视觉失真可以通过可见性阈值标准化吗？最近有研究写出，结合超阈值心理物理学分析图像失真。
? 自然图像复杂度问题：大多数心理物理实验是用相对简单的方式进行的，例如斑点，
正弦光栅。例如，CSF通常由使用全局正弦图像的阈值实验获得。掩蔽效应通常特征在于使用两个（或者几个）不同的图案的叠加。但是所有这样的图案是比真实世界图像简单的多的，真实世界可以看作是简单图案的超大量叠加。几个简单模式之间的相互作用的模型是否能够评估几十或几百个模式之间的相互作用？这个简单激励实验是否有效去建立一个模型来预测复杂结构的自然图像的视觉质量？ ? 去相关问题：当一个人选择使用一个闵可夫斯基度量空间集中的误差，一个是隐含
的假设，在不同的位置的误差是统计独立。这将是真实的，如果处理之前，池消除
总结
-
依赖于输入信号。然而，这是不是线性信道分解方法，如小波变换的情况下。它已被证明是一个强大的依赖关系之间存在的自然图像的帧内和帧间的小波系数[ 36 ]，[ 37 ]。事实上，国家的最先进的小波图像压缩技术，实现他们的成功，利用这种强烈的依赖[ 38 ]-[ 41 ]。心理学上，各种视觉掩蔽模型已被用来解释之间的相互作用系数[ 2 ]，[ 42 ]。据统计，它已被证明，一个精心设计的非线性增益控制模型，在该模型中，参数进行了优化，以减少依赖关系，而不是从掩蔽实验拟合数据，可以大大减少的依赖关系的变换系数[ 43 ]，[ 44 ]。在[ 45 ]，[ 46 ]，它表明，优化设计的转换和屏蔽模型可以减少统计和感性的依赖。它仍然可以看到多少这些模型可以提高性能的电流质量评估算法。
? 认知互动问题。认知理解和互动视觉处理（如眼睛运动）对图像的视觉质量有广泛
的影响，这一认识是众所周知的。例如，一个人类的观察者会给不同的质量分数相同的图像，如果他/他/他提供不同的说明[ 4 ]，[ 30 ]。以前的有关图像内容，或关注和固定的信息，也可能会影响到图像质量的评估[ 4 ]，[ 47 ]。但大多数图像质量指标不考虑这些影响，因为它们很难量化，而不是很好理解。
Ⅲ、基于结构相似度的图像质量评估
自然图像信号是高度结构化的：它们的像素表现出强烈的依赖关系，特别是当它们是空间上接近的时候，这些依赖关系携带在视觉场景中目标结构的重要信息。闵可夫斯基误差指数是各个点信号的差异为基础的，这是独立于底层的信号结构。虽然大多数质量测量是基于误差灵敏度，使用线性变换分解图像信号，但这些不会清除强烈的依赖关系，如讨论的前一节。我们的新方法的动机是找到一个更直接的方式来比较基准信号的结构和失真信号。
A、新理论
在[ 6 ]和[ 9 ]中，作者提出了一个图像质量测量的新框架，基于这种假设，人类视觉系统（HVS）是非常适合从视觉领域中提取结构信息。它遵循，测量结构信息变化，可以提供很好的视觉图像失真近似值。我们可以通过与误差灵敏度算法的比较进行理解。第一，误差灵敏度算法通过估计视觉误差来量化视觉图像失真，而新理论中图像退化是因为结构信息变化中的视觉变化引起的。图2中列举了一个例子，原本的船图像有着不同程度的失真，每次校准都期望产生和原来图像相同的MSE（均方误差）。尽管这样，这鞋图像仍然可以看出显著不同的视觉质量。通过误差灵敏度算法，很难解释为什
总结
图像质量评估从误差的能见性到结构相似性
