高动态范围、视觉动态范围和宽色域的图像与视频的质量评估

摘要

评价视觉质量特性包括选取和处理至少第一图像或视频信号和第二图像或视频信号以及处理所选取的图像或视频信号。至少部分地基于对所选取的图像或视频信号的处理，测量所处理的至少第一图像或视频信号和第二图像或视频信号之间的差异。视觉质量特性与所测量的在所处理的至少第一图像或视频信号和第二图像或视频信号之间的差异的量值有关。至少第一图像或视频信号和第二图像或视频信号包括高动态范围或视觉动态范围和/或宽色域。至少部分地基于所测量的差异来评估视觉质量特性。

说明书

相关申请的交叉引用

本申请要求于2010年4月19日提交的美国专利临时申请 No.61/325,614的优先权，其全部内容通过引用合并于此。

技术领域

本发明一般地涉及图像和视频质量评估。更具体地，本发明的实施方 式涉及高动态范围、视觉动态范围和宽色域的图像与视频的质量评估。

背景技术

高动态范围、视觉动态范围和宽色域

如这里所使用的，术语动态范围可以涉及图像的亮度（例如，强度） 的范围。真实场景中的动态范围是很大的。现今用于图像和视频信号的采 集、重现和显现所使用的不同图像和视频应用可以具有不同的动态范围。 例如，摄影底片可以具有相对大的动态范围，而摄影印刷品、一些目前存 在的（例如，传统的）电视机（TV）以及电脑显示器可以具有较小的动 态范围。

如这里所使用的，术语“低动态范围”（LDR）可以涉及与许多当前 的TV或监控显示器相关联的动态范围。与LDR图像对比，高动态范围 （HDR）图像基本上包含HDR图像所基于的原始场景的所有动态范围。 LDR图像以现今广泛使用的8位显示器所呈现的图像为代表。HDR图像 可以使用10位至14位显示器来呈现。

对于诸如用于分发和显示的压缩之类的许多应用，对HDR进行编码 可能是不必要的并且可能事实上有些计算昂贵和/或带宽消耗。然而，对于 这些现代应用中的一些应用，LDR图像可能不能简单地满足所有目的。 可替代地，这样的应用可能更有利地使用、创造、存储、传输或呈现可以 以视觉动态范围（VDR）为特征的图像。VDR图像基本上包括普通人类 视觉系统（HVS）可以同时感知（例如，在任意给定时间的视觉感知）的 所有亮度和颜色。

背景技术图1描绘了人类可见亮度（例如，HDR，以中心的“适应范 围”箭头示出）的整个范围与同时可见的亮度的范围（例如，VDR，以上 面的“同时视觉”范围箭头示出）以及常见的8位伽马映射显示器的范围 （例如，LDR，以下面的“设备”范围箭头示出）之间的比较。图1因此 描绘了在HDR、VDR以及LDR之间就可能与本发明的实施方式有关的 背景信息进行的比较。

如这里所使用的，术语色域可以涉及颜色的特定子集。色域通常表示 为在CIE 1931色度图内的区域，CIE 1931色度图对于在与颜色、图像、 视频、显示、电影和摄影（例如，“颜色、图像和视频”）有关的领域中的 普通技术人员而言是熟悉的。这些领域中的普通技术人员意识到CIE 1931 色度图表示的差不多“马蹄”形区域是可能色度的整个范围。

然而对于任何显示设备，对能够再现或显示的颜色的设置存在物理限 制。例如，现存的显示设备（例如，阴极射线管（CRT）、液晶显示器（LCD） 或等离子体显示器）通常仅覆盖整个颜色空间的相对小的区域。参照CIE 1931色度图，在颜色、图像和视频领域中的普通技术人员意识到在多数传 统设备中可用的色域可以表示为三角形状，在整个范围内，其显著（例如， 基本上）大于表示可以存在的可能色度的整个范围的CIE 1931色度图的 马蹄形区域。

在具体颜色模型内不能显示、呈现或再现的特定颜色在这里可以被称 为超出色域。通常需要另外的处理来应用、再现和显示这些颜色。在这里 这样的另外处理可以被称为色域映射。如这里使用的，术语宽色域（WCG） 可以涉及比被划界为在CIE 1931色度图的马蹄形内的更小三角形的设备 包括更多颜色的色域，并且基本上在界限处所有的颜色均是能被HVS感 知的。背景技术图2描绘了该色度图的示例性灰度表示，其对于在涉及至 少图像、颜色、视频、电影、摄像等的领域中的普通技术人员应该是熟悉 的。

在本章节中描述的方法是能够执行的方法，但未必是之前设想到或执 行过的方法。因此，除非另有说明，否则不应该假定在本章节中描述的任 何方法仅仅由于它们包含在本章节中而被视为现有技术。类似地，除非另 有说明，否则不应该将关于一种或更多种方法确定的问题假定为以本章节 为基础的任何现有技术已经意识到的。

附图说明

通过示例但不受限于示例、以附图中的图形来说明本发明，在附图中 用相似的附图标记来表示类似的要素，在附图中：

图1描绘了HDR、VDR与LDR之间就可能与本发明的实施方式有 关的背景信息进行的比较；

图2描绘了色度图的就可能与本发明的实施方式有关的背景信息的示 例性灰度表示；

图3描绘了使用其可以实行本发明的实施方式的VDP的示例；

图4描绘了使用其可以实行本发明的实施方式的VDP度量至HDR 空间的示例性扩展；

图5描绘了根据本发明的实施方式的一对HDR、VDR和WCG图像 和/或视频信号之间的视觉差异的示例性评估；

图6描绘了使用其可以执行本发明的实施方式的、被转换成示例性 HDR/VDR颜色空间的经伽马编码的RGB信号；

图7描绘了根据本发明的实施方式的示例性非线性换算HDR/VDR亮 度值的表示；

图8描绘了根据本发明的实施方式的信号强度的示例性比较；

图9A、图9B、图10A、图10B、图11A和图11B描绘了根据本发明 的实施方式作出的测试序列图像的示例性比较；

图9C、图9D、图10C、图10D、图11C和图11D描绘了根据本发明 的实施方式作出的示例性质量评估差异图；以及

图12描绘了本发明的实施方式可以在其中使用的示例性视频编码系 统。

具体实施方式

在这里描述高动态范围、视觉动态范围和宽色域的图像与视频的质量 评估。在以下描述中，出于解释的目的，阐明许多具体细节以提供对本发 明的彻底理解。然而，将明显的是不使用这些具体细节也可以实行本发明。 在其它情形中，不以详尽的细节来描述已知的结构和设备，以避免不必要 地包藏、模糊或混淆本发明。

综述

这里描述的示例性实施方式涉及高动态范围、视觉动态范围和宽色域 的图像与视频的质量评估。评估视觉质量特性包括选取（access）和处理 至少第一图像或视频信号和第二图像或视频信号。至少部分地基于对所选 取的图像或视频信号的处理，测量在所处理的至少第一图像或视频信号和 第二图像或视频信号之间的差异。视觉质量特性与所测量的在所处理的至 少第一图像或视频信号和第二图像或视频信号之间的差异的量值有关。至 少第一图像或视频信号和第二图像或视频信号包括动态范围和/或色域。至 少部分地基于所测量的差异来评估视觉质量特性。动态范围包括视觉动态 范围（VDR）和/或高动态范围（HDR），色域包括扩展色域或宽色域（WCG） 中的至少一种色域。

应该理解的是，在这里描述的技术虽然是与至少第一图像或视频信号 和第二图像或视频信号有关地进行描述的，但该技术可以应用于超过两种 图像或视频信号。尽管这里的描述涉及图像或者涉及视频信号或者涉及图 像和视频信号两者，然而还应该理解的是，任一术语的提及都意味着描述 两个术语（除非在特定情况下其特定的描述或部分清楚地表明是相反情 形）。

实施方式报告所测量的在所处理的至少第一图像或视频信号和第二 图像或视频信号之间的差异，例如输出基于所测量的在所处理的第一图像 或视频信号和第二图像或视频信号之间的差异的视觉质量评估。所述报告 的所测量的在所处理的第一图像或视频信号和第二图像或视频信号之间 的差异可以包括:与所测量的在所处理的第一图像或视频信号和第二图像 或视频信号之间的差异有关的数值数据；和/或表示所测量的在所处理的第 一图像或视频信号和第二图像或视频信号之间的差异的图。差异图以图形 格式来表示所测量的在所处理的第一图像或视频信号和第二图像或视频 信号之间的差异。图形格式的图以与至少第一和第二图像相对应或者相配 准中的一种或更多种方式来表示所测量的在所处理的至少第一图像与第 二图像之间的差异。实施方式标记所测量的在所处理的至少第一图像或视 频信号和第二图像或视频信号之间的差异。因此，差异图以与第一图像或 视频信号和第二图像或视频信号在空间上一致的方式表示所标记的测量 差异。

在实施方式中，第一图像或视频信号和第二图像或视频信号中的至少 一个包括对其评估视觉质量特性的目标图像。因此，图像或视频信号中的 至少第二个包括参考图像。以与参考图像的比较来针对目标图像评估视觉 质量特性。

在实施方式中，处理所选取的图像或视频信号包括根据多个有关参数 化函数来计算至少第一图像或视频信号和第二图像或视频信号的一个或 更多个分量。在实施方式中，根据多个有关参数化函数计算第一图像或视 频信号和第二图像或视频信号的分量包括计算摄影映射（photographic  mapping）。第一图像或视频信号和第二图像或视频信号的分量涉及第一图 像或视频信号和第二图像或视频信号的亮度特性（例如，强度、亮度、光 度）或者颜色特性（例如，色度、浓度（chroma））。

实施方式的动态范围和/或色域分别包括第一动态范围或第一色域。 处理所选取的图像或视频信号包括转换与至少第一图像或视频信号和第 二图像或视频信号有关的颜色空间。可以将颜色空间从第一动态范围转换 为至少第二动态范围。另外地或可替代地，可以将颜色空间从第一色域转 换为至少第二色域。

转换颜色空间可以包括将与第一动态范围和/或第一色域相关联的多 个第一非线性值变换为具有基本线性特性的多个第二值。根据对应于感知 非均匀性的非线性换算因子来换算第二值，其中感知非均匀性可以与从非 线性值到基本线性的值的变换相关联。第一非线性值可以与经伽马编码的 RGB信号相关联。因此，变换成基本线性的值可以包括将与RGB信号相 关联的伽马编码撤销或取消。非线性换算可以应用于第一图像或视频信号 和第二图像或视频信号的亮度有关分量和/或颜色特性。当换算亮度有关分 量和/或颜色特性时，可以根据换算的亮度有关分量和/或换算的颜色特性 来测量第一和第二图像之间的差异。基本线性化的RGB信号可以包括 XYZ颜色空间。实施方式可以将XYZ颜色空间变换为换算的RGB颜色 空间并且以伽马值来编码换算的RGB颜色空间。根据经伽马编码的换算 的RGB颜色空间可以测量第一图像或视频信号和第二图像或视频信号之 间的差异。

在实施方式中，测量所处理的第一图像或视频信号和第二图像或视频 信号之间的差异包括测量它们之间的结构相似性指标（index）（SSIM）值。 测量结构相似性指标值可以包括比较与图像强度（例如，亮度）、对比度 和结构有关的值。强度、对比度和结构与第一图像或视频信号和第二图像 或视频信号相关联。

第一和第二视频信号可以包括多个帧、片和/或域。实施方式针对帧、 片和域中的每一种测量差异以作为各自差异，进一步处理所测量的各自差 异，并且生成用于包括多个帧、片或域的视频序列的总差异值。

实施方式可以使用各种系统、视频质量评估装置、集成电路（IC）（包 括微处理器、数字信号处理器（DSP）、可配置或可编程逻辑器件例如门 阵列（例如，FPGA）和微控制器）以及专用IC（ASIC）来实行、执行 或实现这些技术。

示例的图像和视频质量评估

评估与图像或视频信号的视觉质量有关的属性在包括但不限于图像 和视频信号的采集、压缩、传送和显示的图像和视频应用中可以是重要的。 质量评估可以用于基准测试（beachmark）、监控、调整和/或优化图像和 视频信号的‘质量属性’（例如，涉及视觉或图形的优点、价值、准确度、 精度或值的一个或更多个方面的主观或客观感知或者测量的特性）。

大体上，图像和视频质量评估方法落入质量的主观或客观评估中的至 少一种中。为了实现主观质量评估，通常大量的人类观察者在受控的环境 中视觉地评估目标图像和所显示的视频信号。当评估目标图像或所显示的 视频信号时，如通过每个主观观察者所感知的那样，人类观察者关于他们 的与所观察的图像和视频信号的感知质量有关的决定、意见和倾向投票。 随后通常进一步处理观察者的决定以形成平均意见评分（MOS）。

通过主观质量评估建立的评估意见通常被视为重要的“真相（ground  truth）”指示符。然而，主观质量评估通常需要大量投入时间和费用来完 成。此外，对于一些应用而言主观质量评估有时可能是基本上不实际的。 主观质量评估有时可能基本上不实际的应用可以包括但不限于可以至少 部分地从实时评估反馈受益的图像和视频处理（例如，算法）优化。

在实时评估反馈可以有益的情况下，客观质量评估可能是比主观评估 更适当的方法。客观质量评估估计目标图像或视频信号并且形成（例如， 测量、生成、输出或者公布）与图像或信号的视觉质量有关的视觉质量有 关分析或报告。客观质量评估通常力争实现与可信赖的或可靠的相应主观 质量评估尽可能接近或匹配的评估值或评分。

客观质量评估可以被归类为三种类别中的至少一种类别：（1）完全参 考的客观质量评估；（2）降低参考的客观质量评估；或者（3）无参考的 客观质量评估。完全参考（FR）的评估使用完整的参考图像，其被假定 为可用于与目标图像比较。降低参考（RR）的质量评估以使参考图像部 分可用（例如，以提取的特征（例如，“媒体指纹”）、其它哈希有关签名 或者元数据的形式）而作出。无参考（NR）的质量评估在没有已知或可 用的参考图像的情况下作出。NR和RR客观质量评估通常难以有效、快 速且经济地实现。本发明的实施方式涉及完全参考（FR）的图像质量评 估。

可以根据一种或更多种可选的技术作出FR客观质量评估（OQA）。 峰值信噪比（PSNR）可以用于实现FR OQA。PSNR可以根据均方差 （MSE)得到。给定长度为N的两个向量x={x_i|i=1,…，N}和y={y_i|i=1,…,N}， 可以分别根据以下方程1A和1B来计算x与y之间的MSE和PSNR。

$\mathrm{MSE}(x,y)=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{(x_i-y_i)}^2---\left(1A\right)$

$\mathrm{PSNR}(x,y)=10{\log }_{10}\left(\frac{L^2}{\mathrm{MSE}(x,y)}\right)---\left(1B\right)$

在方程1B中，L表示图像的最大可能像素值（例如，对于在[0,255]之间 的8位LDR图像和视频信号而言，L=255）。

MSE和/或PSNR是相对简单的计算。MES和PSNR计算的简单性 被广泛地用在包括图像和视频应用的信号处理中。此外，MES和PSNR 计算可以从能够提供闭合式优化解的二次表示受益。然而，MES或PSNR 可能不总是与MOS紧密关联。本发明的实施方式提供可以与MOS更可 靠地关联或者另外提高MES和PSNR方法的可靠性的质量评估。

本发明的实施方式仿效人类视觉系统（HVS）以提供如下模型，该模 型能够被用于提高基于MES/PSNR（在下文中有时简单地称为“PSNR”） 有关方法的图像和视频质量评估。基于HVS的客观质量评估度量包括视 觉差异预测器（VDP）和恰可察觉差异（JND）度量。实施方式使用精确 地描述人类视觉系统通常感知视觉质量的机制、形式或者处理的HVS模 型，以确定与MOS统计或类似度量统计地类似或可比的视觉质量，这被 认为是相当可靠的。

图3描绘了使用其可以实行本发明的实施方式的VDP的示例。与一 些其它基于HVS的质量评估方法一样，首先换算（scale）图像信号。换 算图像信号考虑HVS对亮度的非线性响应，这可以被称为量值压缩。应 用至少部分地基于对比敏感度函数（CSF）的滤波。CSF滤波考虑HVS 对不同的空间和时间频率的相对（例如，或者变化）灵敏度。随后皮层变 换和视觉掩蔽将图像分为空间、时间和方向通道并且计算每个通道中的感 知误差。最后，将所计算的所有通道中的误差组合为单个值。

然而不幸地，基于HVS的客观质量评估方法依赖高度复杂且非线性 的HVS。此外，对人类视觉和视觉感知如何实际工作的深刻、实际理解 最多处于科学发展的非常早期的阶段。一些人类视觉的传统模型基于特定 假设：HVS的特征为使用高度简化的刺激（例如，点、条或斜坡）的线 性或拟线性的模型。与更简单的度量例如PSNR相比，此时与这些基本线 性或拟线性的质量评估度量相关联的性能度量大部分是非决定性的。然 而，已经表明这些线性或拟线性的质量评估度量中没有一个是统计上更可 靠的，尽管这样的度量通常需要显著更高的计算费用和复杂性。因此对于 图像和视频应用，PSNR仍然是占主导地位的定量性能度量。

示例性HDR、VDR和WCG图像与视频质量评估

PSNR方法用在LDR图像和视频应用中。事实上在LDR空间中存在 PSNR方法的很少的有效备选方案。不幸地，当应用于HDR和/或VDR 图像时，MSE/PSNR方法的性能受损害（例如，退化）。对于使用HDR/VDR 图像和视频信号的一些应用，PSNR方法的性能可能仅仅无法可接受地执 行，例如，处于一些最小程度或度量的满意度。对于该PSNR方法性能问 题的至少一个重要的原因涉及人类视觉系统相对而言不能从图像场景的 非常明亮的区域向非常暗的区域进行线性和/或均匀地换算。

在总体包括的动态范围相对小的情况下，如在LDR图像和视频信号 （其通常包括动态范围的2个至3个数量级）的情况一样，即使不完美， 这样的非线性或非均匀性也是可容忍的。然而，LDR/VDR图像和视频信 号可以包含动态范围的5个至6个或更多个数量级。对于如此宽的动态范 围，这样的非线性和/或非均匀性的影响基本上更显著。

临时搁置（例如，忽视）感知影响（例如，针对或对于普通人类观察 者）并且此外仅仅集中在数值差异上，PSNR方法在高亮度区域趋向于过 估计差异，而在低亮度区域趋向于欠估计差异。例如，在背景处于10cd/m²亮度时的5cd/m²（坎德拉每平方米，有时称为“近红外透射光谱（nits）”） 差异比在10,000cd/m²的背景中的相同差异更明显。然而，在任一背景亮 度下，5cd/m²的差异对PSNR的贡献是相同的。

图4描绘了使用其可以运行本发明的实施方式的VDP度量向HDR 空间的示意性扩展。所谓的‘HDRVDP’包括完全参考的HDR质量评估 度量。本质上，HDR VDP包括或表示VDP度量向HDR空间的扩展。

与VDP相比，‘HDR VDP’在三个阶段上扩展。在三个阶段中的第 一阶段，执行与HVS有关的建模。为了考虑HDR/VDR信号的显著（例 如，标记的或引人注意的）对比度变化的影响，可以首先使用光学传递函 数（OTF）对图像进行滤波。OTF模拟普通人眼的眼角膜、晶状体和视 网膜中的光散射。与通常对感光器建模的VDP相比，HDR VDP将亮度值 变换到非线性空间。在三个阶段中的第二阶段，以JND单位换算HDR VDP将亮度值变换到的线性空间。在三个阶段中的第三阶段，CSF对与 HDR VDP方法有关的任何灵敏度损耗进行建模。

在三个阶段上扩展HDR VDP（例如，与VDP相比），以及VDP自 身的HVS建模特性的添加，增加了显著的复杂性以及计算上的以及其它 的成本。因此HDR VDP的传统方法对于相对大规模的实现而言是不实际 的或者基本上不可行的。然而，这样大规模的实现在包括优化图像和视频 处理（例如，图像/视频算法优化）的应用中可以是有用的。

示例性实施方式

本发明的示例性实施方式评估第一图像和/或视频信号与第二图像和/ 或视频信号之间的视觉差异，其中第一图像和/或视频信号和第二图像和/ 或视频信号中的每一个均具有高动态范围（HDR）或视觉动态范围（VDR） 和/或宽色域（WCG）。对图像和/或视频信号进行处理和评估。以标记第 一图像和视频信号与第二图像和视频信号之间的差异程度的差异图或者 数值结果的形式来提供评估的输出。在示例性实施方式中，处理HDR、 VDR和WCG图像和视频信号以考虑感知非均匀性。在示例性实施方式 中，测量所处理的信号之间的视觉差异。在示例性实施方式中，生成评估 结果作为输出。评估结果输出可以是其中标记第一图像或视频信号和第二 图像或视频信号之间的差异程度的差异图或者数值结果的形式。在示例性 实施方式中，使用参数化函数族来处理HDR、VDR和WCG图像和视频 信号。在示例性实施方式中，将这些质量评估处理应用于颜色通道。在示 例性实施方式中，将这些质量评估技术应用于优化图像和视频处理（例如， 算法优化）。

图5描述了根据本发明的实施方式的在一对HDR、VDR和WCG图 像和视频信号之间的视觉差异的示例性评估。第一信号表示例如已知的、 标准的或者参考水平的视觉质量的参考信号。第二信号表示目标信号，其 视觉质量相对于参考信号的视觉质量进行评估。注意，在上两句话的上下 文中，术语“第一”和“第二”涉及可辨认地区别、标注或命名参考信号 和目标信号，并且明确地没有在顺序或时间含义（例如，其另外地意味着 在时间或顺序上参考信号先于目标信号）上使用。

如在图5中使用的，描绘为使用虚线界定的框包括实施方式中的系统 的可选组件。首先将信号转换成HDR/VDR可兼容的颜色空间。然后将非 线性换算应用于颜色转换信号，以在进行测量之前考虑感知非均匀性。评 估结果可以由数值表示或者使用差异图可视化。

首先将参考信号转换成HDR/VDR可兼容的颜色空间。对于在与色彩 学、色度学、图像、视频、摄影等有关的领域中的普通技术人员已知的 CIE 1931XYZ颜色空间包括或者表示示例性HDR/VDR颜色空间。图6 描绘了使用其可以实现本发明的实施方式的、转换成示例性HDR/VDR颜 色空间的经伽马编码的RGB信号。

在实施方式中，将经伽马编码的RGB信号变换成HDR/VDR颜色空 间开始于取消伽马编码。可以撤销伽马编码以获得基本线性的RGB值。 这种线性的RGB值可以转换成一阶或更高阶矩阵（这对于在与色彩学、 色度学、图像、视频、摄影等有关的领域中的那些普通技术人员可以是已 知的）以生成CIE XYZ三刺激值。从（R,G，B）三刺激值至（X,Y，Z） 三刺激值的示例性转换矩阵由国际电信联盟（ITU）建议ITU-R BT.709、 根据以下方程2A来定义。

$\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\left(\begin{array}{ccc}0.412424& 0.357579& 0.180464\\ 0.212656& 0.715158& 0.072186\\ 0.019332& 0.119193& 0.950444\end{array}\right)\left(\begin{array}{c}R\\ G\\ B\end{array}\right)---\left(2A\right)$

随后实施方式将非线性换算应用于亮度有关值Y。非线性换算帮助考 虑可能在颜色空间转换时发生的感知非均匀性。换算可以不受限于亮度分 量Y。实施方式在颜色通道中应用换算，这能够实现色域映射。例如，对 Y的非线性换算可以使用根据以下方程2B计算的函数的参数化族来表 示。

$Y_d=\underset{n=0}{\overset{N-1}{\Sigma }}{f}_n\left(Y\right)$

$\overrightarrow{F}=\{f_0,f_1,...,f_{n-1}\}---\left(2B\right)$

在方程2B中，表达式f_i（·）表示HDR/VDR亮度值Y的函数。

随后实施方式将非线性换算应用于亮度有关值Y。图7描绘了根据本 发明的实施方式的示例性非线性换算的HDR/VDR亮度值的表示。非线性 换算帮助考虑可能在颜色空间转换时发生的感知非均匀性。

当前对人类视觉系统的建模是复杂的并且在某些方面是至少部分不 准确的。然而，实施方式使用至少部分地基于摄影映射（例如使用以下方 程3A计算的那样）的模型。根据实施方式的摄影映射，尽管简单、有效 地换算动态范围，然而保留了在非常明亮和非常暗的区域中的高对比度细 节。在以下方程3中，其中表示与场景相关联的对数平均亮度， a表示用于场景的键的参数。在可以实现的实施方式中，默认的键值a包 括对应于传统中间灰度值的接近或近似18%的值。方程3A因此计算换算 值为：

$L_d=\frac{L·(1+\frac{\text{L}}{L_{\mathrm{white}}^2})}{1+L}---\left(3A\right)$

其中表达式L_white表示将被映射成“纯白”的最小的亮度值。随后实施方 式根据以下方程3B将非线性换算的信号变换成更线性的XYZ三刺激值。

Y_d=L_d

$X_d=\max (0,\frac{L_d}{Y}X)$

$Z_d=\max (0,\frac{L_d}{Y}Z)---\left(3B\right)$

实施方式使用根据方程3A计算的XYZ三刺激值，或者可替换地（或另 外地）使用其它颜色。例如，实施方式如利用以下方程3C计算的那样进 一步将XYZ三刺激值变换成RGB颜色空间并且对结果进行伽马编码。

$\left(\begin{array}{c}{R}_d\\ G_d\\ B_d\end{array}\right)=\left(\begin{array}{ccc}3.240708& -1.537259& -0.498570\\ -0.969257& 1.875995& 0.041555\\ 0.055636& -0.203996& 1.057069\end{array}\right)\left(\begin{array}{c}{X}_d\\ Y_d\\ Z_d\end{array}\right)$

$R_d^{`}=255*R_d^{1/\gamma }$

$G_d^{`}=255*G_d^{1/\gamma }$

$B_d^{`}=255*B_d^{1/\gamma }---\left(3C\right)$

在方程3C中，指数表达式γ表示所选择的伽马值。因此可以在经伽马编 码的RGB空间上执行评估。可以将类似的（例如，基本相同的）处理应 用于目标信号。

随后以测量单位来对比两个处理信号以确定视觉差异。测量可以基于 现存的或者新的质量测量方法。例如，可以使用基于结构相似性指标 （SSIM）的测量来执行实施方式。与PSNR方法（其仅测量两个信号之 间的均方差）相比，SSIM包括三个分离的分量：（1）强度比较；（2）对 比度比较；以及（3）结构比较。这三个分离的分量很好地考虑HDR/VDR 信号中的视觉差异。此外计算SSIM尽管可能比PSNR方法稍微更复杂， 但实现超过基于HVS度量（例如，VDP或JND）的效率。

图8描绘了根据本发明的实施方式的信号强度的示例性比较。使用表 达式r来表示从参考信号转换和换算的信号。使用表达式t来表示从目标 信号转换和换算的信号。比较这两个信号的强度并且计算比较l(r，t）的 测量值。从信号中去除平均强度并且比较结果信号的标准偏差，由此计算 涉及信号对比度差异c(r，t）的估计。实施方式对信号进行归一化，使 得所比较的信号均具有单位标准偏差。实施方式比较归一化的信号以表示 涉及结构差异s(r，t）的值。实施方式将三个指示符组合，这有效地计 算两个输入信号的总质量测量。

实施方式根据如下表达式来计算组合的质量评估Q(r，t)：

Q(r，t)＝[l(r，t)]^α·[c(r，t)]^β·[s(r，t)]^γ

其中α>0、β>0以及γ>0包括用于调整这三个分量的重要性的参数，以 及

$l(r,t)=\frac{2{\mu }_r{\mu }_t+C_1}{{\mu }_r^2+{\mu }_t^2+C_2},$$c(r,t)=\frac{2{\sigma }_r{\sigma }_t+C_2}{{\sigma }_r^2+{\sigma }_t^2+C_2},$$s(r,t)=\frac{{\sigma }_{\mathrm{rt}}+C_3}{{\sigma }_r{\sigma }_t+C_3}$

其中u_r和u_t表示r和t的局部采样平均值，

${\mu }_r=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{r}_i,$${\mu }_t=\frac{1}{N}\underset{i=1}{\overset{N}{\Sigma }}{t}_i$

其中N表示采样的大小，σ_r和σ_t表示r和t的局部样本标准偏差，以及

${\sigma }_r={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\Sigma }}{(r_i-{\mu }_r)}^2\right)}^{1/2},$${\sigma }_t={\left(\frac{1}{N-1}\underset{i=1}{\overset{N}{\Sigma }}{(t_i-{\mu }_t)}^2\right)}^{1/2}$

其中σ_n表示r和t的样本交叉相关，

${\sigma }_{\mathrm{rt}}=\frac{1}{N-1}\underset{i=1}{\overset{N}{\Sigma }}(r_i-{\mu }_r)(t_i-{\mu }_t)$

其中C₁、C₂和C₃包括相对小的正常数，这避免接近零样本均值处的数值 不稳定性。

实施方式设置默认值为α=β=γ=1，使得

$.Q(r,t)=l(r,t)·c(r,t)·s(r,t)=\left(\frac{2{\mu }_r{\mu }_t+C_1}{{\mu }_r^2+{\mu }_t^2+C_1}\right)·\left(\frac{2{\sigma }_r{\sigma }_t+C_2}{{\sigma }_r^2+{\sigma }_t^2+C_2}\right)·\left(\frac{{\sigma }_{\mathrm{rt}}+C_3}{{\sigma }_r{\sigma }_t+C_3}\right)·$

因此实施方式可以基于像素级、块级和/或图像级来评估视觉质量。在实施 方式中，块可以是交迭的或不交迭的。对于每个像素、块或图像，实施方 式为Q(r，t）指定在[0,1]之间的数值，其中越高的数表示参考信号与目 标信号之间匹配地越好。当基于像素级或块级进行评估时，实施方式指定 与整幅图像或整个帧的质量特性有关的总数值AQ，该总数值AQ可以将 图像或帧的每个单独块的质量评估组合，例如方程4中那样。

$\mathrm{AQ}=\frac{1}{M}\underset{j=1}{\overset{M}{\Sigma }}Q(r_j,t_j)---\left(4\right)$

在方程4中，表达式M表示图像/帧的块（r_j，t_j）的数量。

将在本实施方式中使用的方法应用于亮度有关通道上。然而，实施方 式也可以将类似的方法应用于与其它图像特性（例如，色度、浓度或其它 颜色有关属性）有关的通道上。为了评估在多个通道上的图像质量，实施 方式获得与每个通道相关联的单独值。可以进一步处理所获得的值以获得 用于整幅图像或整个帧的单个总值。例如，实施方式可以使用在针对每个 单独通道获得的值上运行的简单平均计算来处理所获得的值。

实施方式评估视频信号之间的视觉差异。最初将视频信号分为一系列 帧、片或域。将上述的方法（例如，参照方程4）应用于每个帧、片或域， 并且针对它们中的每一个获得数值。实施方式进一步处理用于所有帧、片 和域的值以获得用于整个视频序列的单个总值。例如，实施方式可以使用 在针对每个单独帧、片或域获得的值上运行的简单平均计算来处理所获得 的值。

实施方式通过将在[0，1]之间的范围内的评估结果值量化为L位一致 表示来对评估结果进行可视化，其中L位表示中的2^L-1对应于评估结果 中的1，并且其中L位表示中的0对应于评估结果中的0。量化结果可以 以与原始像素或块相同的空间位置来排列，并且作为L位图像而输出。

各种测试图像和测试序列对于在涉及视频、成像、摄影、电影等的领 域中的普通技术人员而言是熟悉的，并且被以多种作用（例如，努力、测 试、实验、验证、描绘和描述）使用以显现一致的空间视觉信息，例如用 于不同技术或方法之间的比较。有时用于一致地呈现空间视觉信息的两个 熟悉的测试序列包括通常称为（例如，在有关领域中熟知的）“日落 （Sunset）”和“沙漠海（Desert to Sea）”的序列。图9A、图9B、图10A、 图10B、图11A和图11B描绘了测试序列图像的示例性比较。图9A和图 9B描绘了从日落测试序列取得的示例测试序列部分的示例性接近（例如， 时间或顺序上连续）的图像（例如，帧）901和902。

视觉质量评估结果可以作为差异图（例如，与在图像序列的两幅或更 多幅图像之间的可视差异相关联的值的图）输出、存储和/或显示。例如， 可以计算差异图，其示出在一系列图像中的两幅顺序接近的图像（例如， 在视频信号中的两个时间上接近的帧）之间的差异。图9C、图9D、图10C、 图10D、图11C和图11D描绘了差异图的示例性比较。图9C和图9D分 别描述了与在日落测试序列中的第一帧901和第二帧902相关联的不同的 示例性视觉质量评估差异图。在图9C中，差异图905描绘了示例性的基 于HDRVDR的第一帧901与第二帧902之间的视觉质量评估差异图。为 了比较，在图9D中，差异图906描绘了根据实施方式生成的示例性视觉 质量评估差异图。

在图9A和图9B中描述的示例性日落测试序列以及（以下关于图10A 和图10B描述的）沙漠海测试序列两者均具有出现在同一图像中的在相对 非常亮的区域中呈现的可视细节以及在相对非常暗的区域中呈现的细节。 如上所述，实施方式通过将在[0,1]之间的范围内的评估结果值量化为L位 一致表示来对评估结果进行可视化。L位表示中的值2^L-1对应于评估结果 中的1，以及L位表示中的0对应于评估结果中的0。量化的结果可以以 与原始像素或块相同的空间位置来排列，并且作为L位图像而输出。

在图9D中，差异图906依照根据实施方式计算的可视化技术来标记， 其中值L=8。在用于示例性比较的图9C中，差异图905根据HDR VDP 技术标记。对于（例如，图像901和902的）每个像素，HDR VDP计算 值p，其对应于那些像素处的参考信号与目标信号之间不同的概率。在 [0.5,1]之间的值1-0.5*p被一致地量化为[128,255]，其中值255对应于p=0， 而值128对应于p=1。

在图9C中示出的HDR VDP测试结果以及在图9D中示出的根据实 施方式的测试结果没有数值上对齐，这是因为分别与各自相关联的值不具 有相同的意义或定义。尽管因此这些视觉评估测试的数值结果不可以直接 相比较，但是在差异图905和差异图906两者中，与越亮出现的区域相比， 在差异图中越暗出现的区域表明参考信号与目标信号之间的更显著或更 明显的视觉差异。相反地，越亮出现的区域表明参考信号与目标信号之间 的不太显著（或不太明显）的视觉差异。

示例图像901和902分别包括在日落测试序列中的第一原始帧和第二 原始帧。图像901和图像902各自覆盖动态范围的大约五个或六个数量级， 例如与它们的亮度有关值有关。它们的动态范围的范畴在从亮区域（其描 绘太阳，基本上处于中心位置）到朦胧区域（其描述出现为人群的区域） 之间变动。图像901和图像902在它们各自动态范围的高端与低端两者处 具有对比度细节。（应该注意到无论如何，由于在本申请中与图9A和图 9B的存储、呈现和印刷相关联的动态范围和颜色有关限制，所以仅HDR 图像901和HDR图像902中的每个图像中存在的部分动态范围可以使用 灰度来呈现，其中图像901和图像902两者示出可用动态范围换算的相同 部分。）

在图9C和图9D中分别描述的视觉质量评估测试图905和906两者/ 每个将（在图像901和图像902两者中描述的海洋特征上看到的）高反射 区域加亮为具有相对低的视觉质量。该加亮可能最明显与图像901和图像 902中的每幅图像的示出直接反射的区域相关联。在图像901和图像902 的具有不太显著差异的区域（和/或不具有差异的区域）中，根据实施方式 计算的评估结果与使用传统HDR VDP技术所计算的评估结果很好地相 关。由于这样的高相关性，本发明的实施方式实现的准确性与使用传统 HDR VDP所实现的视觉评估结果相关联的准确性可比拟，其中传统HDR VDP被很好地接受并且被在与图像、视频、电影、摄影、颜色、色度等 有关的领域中的普通技术人员使用。

然而，显著的或值得注意的延迟时间（latency）可以与传统HDR VDP 计算相关联。VDP测量对人类视觉系统（例如，不完全地）建模。此外， VDP扩展至HDR涉及考虑一些人类视觉感知行为的甚至更复杂的建模。 这些添加的模型为HDR VDP质量评估增加显著的复杂性。实施方式可以 独立于这样的感知建模来执行视觉质量评估，并且可以因此使用比HDR VDP方法更少的延迟时间来运行。

实施方式独立于（例如，不使用）HVS的复杂的（和/或不完善的） 基于感知的建模来计算视觉质量评估。实施方式使用可以类似于摄影技术 的相对简单的模型。实施方式将HDR VDP信号映射成可以比基于感知的 方法更简单地测量视觉质量评估的表象空间或维数集。在类似的测试环境 中，实施方式使用相对于基于感知模型（例如，HDR VDP）显著减少的 延迟时间来评估视觉质量结果。

与使用传统HDRVDP或其它基于感知的方法可以实现的相比，实施 方式使用显著更少的延迟时间来评估视觉质量结果。例如，可以实现如下 实施方式：在比HDR VDP快一个数量级和两个数量级（例如，近似50 倍）之间地评估视觉质量。此外，实施方式可以以模块化结构为特征，其 与基于感知的评估系统的一些实现相比是简单且有效的。因此实施方式的 软件和硬件实现对于进一步（例如，新开发）的优化是开放的。

在图10中，描绘‘沙漠海’测试序列中一对接近的、或者时间上和/ 或顺序上连续的原始帧1001和1002的评估结果。帧1001和帧1002每个 /两者包括在更亮的区域（在所描绘的太阳特征的附近）中的细节以及在更 朦胧的区域（描述花）中的细节。沙漠海测试剪辑是使用专业质量摄像机 采集并且以专业水平的后期生成装置处理的。如这里使用的术语“专业” 可以涉及可被在与图像、视频、颜色、色度、摄影、电影等有关领域中的 普通技术人员使用或与之相关联的质量、复杂性、能力、专业知识和/或技 能的水平。

根据实施方式评估图像内容（例如，沙漠海测试序列的帧1001和1002 （和/或日落测试序列的帧901和902））的视觉质量允许对摄像机和其它 用于在其中采集图像的设备的质量进行基准测试和监控的可优化和/或低 的延迟时间。帧1001和1002各自覆盖大约5个至6个数量级。（应该注 意的是无论如何，由于在本申请中与图10A和图10B的存储、呈现和印 刷相关联的动态范围和颜色有关限制，所以在HDR图像1001和HDR图 像1002的每个图像中存在的仅部分动态范围可以使用灰度来随之呈现， 其中图像1001和图像1002两者示出可用动态范围换算的相同部分。）

图10D中示出根据实施方式标记的图像1001与图像1002之间的差 异。为了示例性比较，差异图1005中示出通过传统HDR VDP方法标记 的图像1001与图像1002之间的差异。在每个帧1001和1002中的具有高 度显著差异和低（或零）差异的辨别区域中差异图1001和1002密切对应。 因此，实施方式可以以与良好建立的和广泛使用的基于感知的方法（例如， HDR VDP）至少大约一样准确地评估视觉质量。

此外，在多数情况下以及在类似的测试环境下，实施方式使用比传统 的基于感知的方法显著更少的延迟时间来计算视觉质量评估。例如，尽管 在类似的测试条件下计算，然而与通常使用HDR VDP技术生成的差异图 1005相比，实施方式生成的差异图1006具有大约小整整两个数量级的延 迟时间。在关于差异图1006示出的实现中，实施方式比关于差异图1005 示出用于比较的所使用的HDR VDP方法大约快100倍地工作。

图11A和图11B描绘了均来自日落测试序列的示例性图像。图11A 描述了来自日落测试序列的原始图像1101。图11B描述了来自日落测试序 列的原始图像实例1102。为了生成图像实例1102，首先以压缩的VDR格 式对原始图像1101进行编码，随后从原始图像1101的压缩编码实例解码 为解压缩的VDR图像1102。图11C和图11D描绘了原始图像1101与压 缩和解压缩的编码图像实例1102之间的示例性差异图。图11C描绘了使 用HDR VDP生成的差异图1105。图11D描述了根据实施方式生成的差 异图1106。

在图11C和图11D中分别描绘了视觉质量评估测试图1105和1106， 两者/每个将（在图像1101和图像1102两者中所描述的海洋特征上看到的） 高反射区域加亮为具有相对低的视觉质量。该加亮可能最明显与图像1101 和图像1102中的每幅图像的示出直接反射的区域相关联。在图像1101和 图像1102的具有不太显著差异的区域（和/或不具有差异的区域）中，根 据实施方式计算的评估结果与使用传统HDR VDP技术所计算的评估结果 也很好地相关。由于这样的高相关性，本发明的实施方式实现了与使用传 统HDR VDP所实现的视觉评估结果相关联的准确性可比拟的准确性。

在每个帧1101和1102中的具有高度显著差异和低（或零）差异的辨 别区域中差异图1105和1106密切对应。因此再次地，实施方式可以以与 良好建立的且广泛使用的基于感知的方法至少大约一样准确地评估视觉 质量。实施方式计算的差异图1106是使用HDR VDP计算的差异图1105 的约50倍快。与基于感知的方法相比，在根据实施方式评估视觉质量中 显著的延迟时间减少促进了处理（例如图像和视频算法）的优化，其中在 对每个图像或视频帧进行编码或处理中可以使用数以百计或数以千计的 测量。因此，实施方式在实现视频编码器中可以是有用的。

图12描绘了其中可以使用本发明的实施方式的示例性视频编码系统 1200。视频编码器1200包括速率/失真优化模块1205。可以使用速率/失真 优化器1205来实现实施方式。实施方式计算编码信号（例如，目标信号） 与原始信号（参考信号）之间的在像素级、块级或帧级中的一个或更多个 上的视觉差异D。实施方式还计算用于对目标区域进行编码的比特速率R。 实施方式根据以下方程5来计算总速率失真成本函数C。

C＝R+λ·D

                                    (5)

在方程5中，λ项表示系数，例如拉格朗日成本优化算子，其例如均衡比 特速率与目标失真参数之间的折中。实施方式针对每个可能的编码模式估 计速率失真成本函数计算。在实施方式中，速率/失真优化器1205选择被 估计为具有最小速率失真成本函数的编码模式。

等同方案、扩展方案、备选方案以及其他

如此描述了高动态范围、视觉动态范围和宽色域的图像与视频的质量 评估的示例性实施方式。在之前的说明中，参照可以随实现的不同而变化 的各种具体细节描述了本发明的实施方式。因此，本发明是什么以及什么 是申请人预期的本发明的唯一和排它性指示符是根据本申请产生的权利 要求集合（按照这样的权利要求产生的具体形式），包括任何随后的修正。 在这里清楚阐明地用于包含在这样的权利要求中的术语的任何定义将规 定这样的术语在权利要求中使用的含义。因此，在权利要求中没有清楚陈 述的限制、要素、性质、特征、优点或者属性不应该以任何方式限制这样 的权利要求的范围。相应地，说明书和附图应该被认为是说明性含义而不 是限制性含义。