专利分类
专利分类

降参考三维视频质量评价方法专利

专利号:201610734525.7

销售价
1500
降参考三维视频质量评价方法专利二维码
  • 累计销量0
  • 浏览次数108
  • 累计评论0
首页

专利名称:降参考三维视频质量评价方法

技术领域:三维视频

IPC主分类号:H04N17/00

申请号:CN201610734525.7

公开日:2017-11-03

说明书

一种降参考三维视频质量评价方法

技术领域

[0001] 本发明涉及一种视频质量评价方法,尤其是涉及一种降参考三维视频质量评价方法。

背景技术

[0002] 进入本世纪以来,随着数字2D(二维)视频技术日趋成熟,以及计算机、通信及网络技术的快速发展,引发了人们对新一代视频系统的强烈需求。现行的二维视频系统在表现自然场景时,难以满足用户的立体感和视点交互等的需求。三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎,因此在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。与立体视频相比,基于彩色加深度的三维视频需要同时考虑彩色和深度对虚拟视点绘制的影响,然而,传统的立体图像/视频质量评价方法通常不能直接用于评价彩色、深度或虚拟视点视频质量。
[0003] 而对于三维视频质量评价而言,如果直接将立体视频质量评价方法应用于三维视频,即彩色和深度视频采用相同的评价方法,则由于彩色视频是显性影响虚拟视点,而深度视频是隐形影响虚拟视点,因此这会导致对虚拟视点绘制质量的不可控;或者如果直接将立体视频质量评价方法应用于虚拟视点视频,则由于虚拟视点存在因绘制引起的几何失真,因此传统的立体视频质量评价难以对其进行定量化。因此,如何对三维视频进行描述以衡量彩色和深度视频失真对虚拟视点绘制的影响,特别是如何能用较少的信息来进行有效描述,都是在对三维视频进行质量评价过程中需要研究解决的问题。

发明内容

[0004] 本发明所要解决的技术问题是提供一种降参考三维视频质量评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。
[0005] 本发明解决上述技术问题所采用的技术方案为:一种降参考三维视频质量评价方法,其特征在于包括以下步骤:
[0006] ①令Sorg表示原始的无失真的三维视频,令Sdis表示Sorg经失真后得到的三维视频,将Sdis作为待评价的失真的三维视频;将Sorg的左视点视频和右视点视频对应记为Lorg和Rorg,将Sdis的左视点视频和右视点视频对应记为Ldis和Rdis;将Lorg中t时刻的左视点图像记为{Lorg,t(x,y)},将Rorg中t时刻的右视点图像记为{Rorg,t(x,y)},将Ldis中t时刻的左视点图像记为{Ldis,t(x,y)},将Rdis中t时刻的右视点图像记为{Rdis,t(x,y)};其中,1≤t≤T,1≤x≤W,1≤y≤H,T表示Lorg中包含的左视点图像的总帧数,也即Rorg中包含的右视点图像的总帧数,也即Ldis中包含的左视点图像的总帧数,也即Rdis中包含的右视点图像的总帧数,W表示Lorg中的左视点图像、Rorg中的右视点图像、Ldis中的左视点图像、Rdis中的右视点图像的宽度,H表示Lorg中的左视点图像、Rorg中的右视点图像、Ldis中的左视点图像、Rdis中的右视点图像的高度,Lorg,t(x,y)表示{Lorg,t(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg,t(x,y)表示{Rorg,t(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis,t(x,y)表示{Ldis,t(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis,t(x,y)表示{Rdis,t(x,y)}中坐标位置为(x,y)的像素点的像素值;
[0007] ②采用基于深度图像绘制的方法,并选取6个介于左视点和右视点之间且视点间距相同的虚拟视点,根据Lorg中每个时刻的左视点图像和Rorg中对应时刻的右视点图像绘制得到对应时刻的6幅虚拟视点图像,将根据{Lorg,t(x,y)}和{Rorg,t(x,y)}绘制得到的t时刻的6幅虚拟视点图像对应记为和 然后将绘制得到的第1个虚拟视点的T幅虚拟视点图像构成Sorg对应的第1个虚拟视点绘制视频,记为 并将绘制得到的第2个虚拟视点的T幅虚拟视点图像构成Sorg对应的第2个虚拟视点绘制视频,记为 将绘制得到的第3个虚拟视点的T幅虚拟视点图像构成Sorg对应的第3个虚拟视点绘制视频,记为 将绘制得到的第4个虚拟视点的T幅虚拟视点图像构成Sorg对应的第4个虚拟视点绘制视频,记为 将绘制得到的第5个虚拟视点的T幅虚拟视点图像构成Sorg对应的第5个虚拟视点绘制视频,记为 将绘制得到的第6个虚拟视点的T幅虚拟视点图像构成Sorg对应的第6个虚拟视点绘制视频,记为 其中,表示 中坐标位置为(x,y)的像素点的像素值, 表示
中坐标位置为(x,y)的像素点的像素值, 表示 中坐标位置
为(x,y)的像素点的像素值, 表示 中坐标位置为(x,y)的像素点的像素
值, 表示 中坐标位置为(x,y)的像素点的像素值, 表示
中坐标位置为(x,y)的像素点的像素值;
[0008] 同样,采用基于深度图像绘制的方法,并选取介于左视点和右视点之间且视点间距相同的虚拟视点,根据Ldis中每个时刻的左视点图像和Rdis中对应时刻的右视点图像绘制得到对应时刻的6幅虚拟视点图像,将根据{Ldis,t(x,y)}和{Rdis,t(x,y)}绘制得到的t时刻的6幅虚拟视点图像对应记为和 然后将绘制得到的第1个虚拟视点的T幅虚拟视点图像构成Sdis对
应的第1个虚拟视点绘制视频,记为 并将绘制得到的第2个虚拟视点的T幅虚拟视点图像构成Sdis对应的第2个虚拟视点绘制视频,记为 将绘制得到的第3个虚拟视点的T幅虚拟视点图像构成Sdis对应的第3个虚拟视点绘制视频,记为 将绘制得到的第4个虚拟视点的T幅虚拟视点图像构成Sdis对应的第4个虚拟视点绘制视频,记为 将绘制得到的第5个虚拟视点的T幅虚拟视点图像构成Sdis对应的第5个虚拟视点绘制视频,记为 将绘制得到的第6个虚拟视点的T幅虚拟视点图像构成Sdis对应的第6个虚拟视点绘制视频,记为 其中, 表示 中坐标位置为(x,y)的像素点的像素值, 表示
中坐标位置为(x,y)的像素点的像素值, 表示 中坐标位置为
(x,y)的像素点的像素值, 表示 中坐标位置为(x,y)的像素点的像素值,
表示 中坐标位置为(x,y)的像素点的像素值, 表示
中坐标位置为(x,y)的像素点的像素值;
[0009] ③将Lorg、 和Rorg按各自所在的视差平面的坐标位置从小到大的顺序排列,构成Sorg的四维空间图,记为{DSIorg(x,y,t,d)};其中,dmax表示左视点和右视点的视差平面的最
大坐标位置,d=0代表左视点的视差平面的坐标位置, 代表第1个虚拟视点的视差平面的坐标位置, 代表第2个虚拟视点的视差平面的坐标位置, 代表第3个虚
拟视点的视差平面的坐标位置, 代表第4个虚拟视点的视差平面的坐标位置,代表第5个虚拟视点的视差平面的坐标位置, 代表第6个虚拟视点的视差
平面的坐标位置,d=dmax代表右视点的视差平面的坐标位置,当d=0时DSIorg(x,y,t,d)=Lorg,t(x,y),当 时 当 时
当 时 当 时 当
时 当 时 当d=
dmax时DSIorg(x,y,t,d)=Rorg,t(x,y);
[0010] 同样,将Ldis、 和Rdis按各自所在的视差平面的坐标位置从小到大的顺序排列,构成Sdis的四维空间图,记为{DSIdis(x,y,t,d)};其中,当d=0时DSIdis(x,y,t,d)=Ldis,t(x,y),当 时 当 时
当 时 当 时
当 时 当 时
当d=dmax时DSIdis(x,y,t,d)=Rdis,t(x,y);
[0011] ④将{DSIorg(x,y,t,d)}划分成 个互不重叠的尺寸大小为8×8×8×8的四维空间体;然后对{DSIorg(x,y,t,d)}中的每个四维空间体中的每个像素点进行离散余弦变换,得到{DSIorg(x,y,t,d)}中的每个四维空间体中的每个像素点的DCT系数;
[0012] 同样,将{DSIdis(x,y,t,d)}划分成 个互不重叠的尺寸大小为8×8×8×8的四维空间体;然后对{DSIdis(x,y,t,d)}中的每个四维空间体中的每个像素点进行离散余弦变换,得到{DSIdis(x,y,t,d)}中的每个四维空间体中的每个像素点的DCT系数;
[0013] ⑤计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的系数距离,记为Q1;
[0014] ⑥计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的频率比距离,记为Q2;
[0015] ⑦计算Sdis的客观质量评价预测值,记为Q,Q=λ×Q1+(1-λ)×Q2;其中,λ为加权参数。
[0016] 所述的步骤⑤的具体过程为:
[0017] ⑤_1、将{DSIorg(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成10个不同的子带;然后将{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于相同子带的所有DCT系数构成一个DCT系数子带集合,将{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的所有DCT系数构成的DCT系数子带集合记为 其中,1≤i≤10, 表示 中的第j个DCT系数,即为{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的第j个DCT系数,Ni表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的DCT系数的总个数;
[0018] 同样,将{DSIdis(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成10个不同的子带;然后将{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于相同子带的所有DCT系数构成一个DCT系数子带集合,将{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的所有DCT系数构成的DCT系数子带集合记为 其中, 表示 中的第j个DCT系数,即为{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的第j个DCT系数,Ni亦表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的DCT系数的总个数;
[0019] ⑤_2、获取{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布,将 中的DCT系数的直方图分布记为 其中,表示 中在第k个直方图节点处的DCT系数的总个数;
[0020] 同样,获取{DSIdis(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布,将 中的DCT系数的直方图分布记为 其中, 表示 中在第k个直方图节点处的DCT系数的总个数;
[0021] ⑤_3、采用广义高斯分布模型对{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布进行拟合,拟合得到{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布的拟合曲线,将 的拟合曲线记为 将中与 对应的点值记为 其中,
表示拟合曲线 的尺度参数, 表示拟合曲线
的形状参数,exp()表示以自然基数e为底的指数函数,符号“| |”为取绝对值符号,t为积分变量;
[0022] ⑤_4、计算{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布与其拟合曲线之间的距离,将 与 之间的距离记为然后计算{DSIorg(x,y,t,d)}对应的所有DCT系数子带集合中的
DCT系数的直方图分布所对应的距离之和,记为dorg,
[0023] 并计算{DSIdis(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布与{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布的拟合曲线之间的距离,将 与 之间的距离记为然后计算{DSIdis(x,y,t,d)}对应的所有DCT系数子带集合中的DCT系数的直方图分布所对应的距离之和,记为ddis,
[0024] ⑤_5、计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的系数距离Q1,Q1=|dorg-ddis|。
[0025] 所述的步骤⑥的具体过程为:
[0026] ⑥_1、将{DSIorg(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成3个不同的频带,分别为低频频带、中频频带和高频频带;
[0027] 同样,将{DSIdis(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成3个不同的频带,分别为低频频带、中频频带和高频频带;
[0028] ⑥_2、计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数的频率比系数,记为γorg, 其中,μorg,Mid表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于中频频带的所有DCT系数的均值,μorg,High表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于高频频带的所有DCT系数的均值,μorg,Low表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于低频频带的所有DCT系数的均值;
[0029] 同样,计算{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数的频率比系数,记为γdis, 其中,μdis,Mid表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于中频频带的所有DCT系数的均值,μdis,High表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于高频频带的所有DCT系数的均值,μdis,Low表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于低频频带的所有DCT系数的均值;
[0030] ⑥_3、计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的频率比距离其中,符号“| |”为取绝对值符号。
[0031] 所述的步骤⑦中取λ=0.8。
[0032] 与现有技术相比,本发明的优点在于:
[0033] 1)本发明方法通过基于深度图像绘制的方法,绘制得到多个虚拟视点绘制视频,并构造得到四维空间图,由于所构造的四维空间图同时考虑了彩色和深度视频失真对虚拟视点绘制质量的影响,这样与直接对三维视频进行操作相比,能够更好地衡量彩色和深度视频失真对虚拟视点绘制的影响,从而有效地提升了对三维视频的评价性能。
[0034] 2)本发明方法根据四维空间图中所有四维空间体的不同子带和频带的DCT系数统计特征,通过计算系数距离和频率比距离信息,来计算待评价的失真的三维视频的客观质量评价预测值,从而只需要较少的信息就能够较好地反映三维视频的质量变化情况。

附图说明

[0035] 图1为本发明方法的实现流程框图;
[0036] 图2为一个尺寸大小为8×8的图像块中的所有像素点的DCT系数分解成10个不同的子带的示意图。

具体实施方式

[0037] 以下结合附图实施例对本发明作进一步详细描述。
[0038] 本发明提出的一种降参考三维视频质量评价方法,其实现流程框图如图1所示,其包括以下步骤:
[0039] ①令Sorg表示原始的无失真的三维视频,令Sdis表示Sorg经失真后得到的三维视频,将Sdis作为待评价的失真的三维视频;将Sorg的左视点视频和右视点视频对应记为Lorg和Rorg,将Sdis的左视点视频和右视点视频对应记为Ldis和Rdis;将Lorg中t时刻的左视点图像记为{Lorg,t(x,y)},将Rorg中t时刻的右视点图像记为{Rorg,t(x,y)},将Ldis中t时刻的左视点图像记为{Ldis,t(x,y)},将Rdis中t时刻的右视点图像记为{Rdis,t(x,y)};其中,1≤t≤T,1≤x≤W,1≤y≤H,T表示Lorg中包含的左视点图像的总帧数,也即Rorg中包含的右视点图像的总帧数,也即Ldis中包含的左视点图像的总帧数,也即Rdis中包含的右视点图像的总帧数,W表示Lorg中的左视点图像、Rorg中的右视点图像、Ldis中的左视点图像、Rdis中的右视点图像的宽度,H表示Lorg中的左视点图像、Rorg中的右视点图像、Ldis中的左视点图像、Rdis中的右视点图像的高度,Lorg,t(x,y)表示{Lorg,t(x,y)}中坐标位置为(x,y)的像素点的像素值,Rorg,t(x,y)表示{Rorg,t(x,y)}中坐标位置为(x,y)的像素点的像素值,Ldis,t(x,y)表示{Ldis,t(x,y)}中坐标位置为(x,y)的像素点的像素值,Rdis,t(x,y)表示{Rdis,t(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0040] ②采用现有的基于深度图像绘制的方法,并随机选取6个介于左视点和右视点之间且视点间距相同的虚拟视点,根据Lorg中每个时刻的左视点图像和Rorg中对应时刻的右视点图像绘制得到对应时刻的6幅虚拟视点图像,将根据{Lorg,t(x,y)}和{Rorg,t(x,y)}绘制得到的t时刻的6幅虚拟视点图像对应记为和 然后将绘制得到的第1个虚拟视点的T幅虚拟视点
图像构成Sorg对应的第1个虚拟视点绘制视频,记为 即 由{Lorg,1(x,y)}和{Rorg,1(x,y)}绘制得到的1时刻的第1幅虚拟视点图像 {Lorg,2(x,y)}和{Rorg,2(x,y)}绘制得到的2时刻的第1幅虚拟视点图像 和{Rorg,T(x,y)}绘制
得到的T时刻的第1幅虚拟视点图像 构成;并将绘制得到的第2个虚拟视点的T幅虚拟视点图像构成Sorg对应的第2个虚拟视点绘制视频,记为 即 由{Lorg,1(x,y)}和{Rorg,1(x,y)}绘制得到的1时刻的第2幅虚拟视点图像 {Lorg,2(x,y)}和{Rorg,2(x,y)}绘制得到的2时刻的第2幅虚拟视点图像 和{Rorg,T
(x,y)}绘制得到的T时刻的第2幅虚拟视点图像 构成;将绘制得到的第3个虚拟视点的T幅虚拟视点图像构成Sorg对应的第3个虚拟视点绘制视频,记为 即 由{Lorg,1(x,y)}和{Rorg,1(x,y)}绘制得到的1时刻的第2幅虚拟视点图像 {Lorg,2(x,y)}和{Rorg,2(x,y)}绘制得到的2时刻的第3幅虚拟视点图像 和
{Rorg,T(x,y)}绘制得到的T时刻的第3幅虚拟视点图像 构成;将绘制得到的第4个虚拟视点的T幅虚拟视点图像构成Sorg对应的第4个虚拟视点绘制视频,记为 即 由{Lorg,1(x,y)}和{Rorg,1(x,y)}绘制得到的1时刻的第4幅虚拟视点图像 {Lorg,2(x,y)}和{Rorg,2(x,y)}绘制得到的2时刻的第4幅虚拟视点图像
和{Rorg,T(x,y)}绘制得到的T时刻的第4幅虚拟视点图像 构成;将绘制得到的第5个虚拟视点的T幅虚拟视点图像构成Sorg对应的第5个虚拟视点绘制视频,记为 即 由{Lorg,1(x,y)}和{Rorg,1(x,y)}绘制得到的1时刻的第5幅虚拟视点图像 {Lorg,2(x,y)}和{Rorg,2(x,y)}绘制得到的2时刻的第5幅虚拟视点图像
和{Rorg,T(x,y)}绘制得到的T时刻的第5幅虚拟视点图像 构成;将绘制得到的第6个虚拟视点的T幅虚拟视点图像构成Sorg对应的第6个虚拟视点绘制视频,记为 即 由{Lorg,1(x,y)}和{Rorg,1(x,y)}绘制得到的1时刻的第6幅虚拟视点图像 {Lorg,2(x,y)}和{Rorg,2(x,y)}绘制得到的2时刻的第6幅虚拟视点图像 和
{Rorg,T(x,y)}绘制得到的T时刻的第6幅虚拟视点图像 构成;其中, 表
示 中坐标位置为(x,y)的像素点的像素值, 表示 中坐标位
置为(x,y)的像素点的像素值, 表示 中坐标位置为(x,y)的像素点的像
素值, 表示 中坐标位置为(x,y)的像素点的像素值, 表示
中坐标位置为(x,y)的像素点的像素值, 表示 中坐标位置
为(x,y)的像素点的像素值。
[0041] 同样,采用现有的基于深度图像绘制的方法,并选取介于左视点和右视点之间且视点间距相同的虚拟视点,根据Ldis中每个时刻的左视点图像和Rdis中对应时刻的右视点图像绘制得到对应时刻的6幅虚拟视点图像,将根据{Ldis,t(x,y)}和{Rdis,t(x,y)}绘制得到的t时刻的6幅虚拟视点图像对应记为和 然后将绘制得到的第1个虚拟视点的T幅虚拟视点图像构成Sdis对
应的第1个虚拟视点绘制视频,记为 并将绘制得到的第2个虚拟视点的T幅虚拟视点图像构成Sdis对应的第2个虚拟视点绘制视频,记为 将绘制得到的第3个虚拟视点的T幅虚拟视点图像构成Sdis对应的第3个虚拟视点绘制视频,记为 将绘制得到的第4个虚拟视点的T幅虚拟视点图像构成Sdis对应的第4个虚拟视点绘制视频,记为 将绘制得到的第5个虚拟视点的T幅虚拟视点图像构成Sdis对应的第5个虚拟视点绘制视频,记为 将绘制得到的第6个虚拟视点的T幅虚拟视点图像构成Sdis对应的第6个虚拟视点绘制视频,记为 其中, 表示 中坐标位置为(x,y)的像素点的像素值, 表示
中坐标位置为(x,y)的像素点的像素值, 表示 中坐标位置为
(x,y)的像素点的像素值, 表示 中坐标位置为(x,y)的像素点的像素值,
表示 中坐标位置为(x,y)的像素点的像素值, 表示
中坐标位置为(x,y)的像素点的像素值。
[0042] ③将Lorg、 和Rorg按各自所在的视差平面的坐标位置从小到大的顺序排列,构成Sorg的四维空间图,记为{DSIorg(x,y,t,d)};其中,dmax表示左视点和右视点的视差平面的
最大坐标位置,在本实施例中dmax的值根据具体的左视点和右视点的基线距离确定,d=0代表左视点的视差平面的坐标位置, 代表第1个虚拟视点的视差平面的坐标位置,代表第2个虚拟视点的视差平面的坐标位置, 代表第3个虚拟视点的视差
平面的坐标位置, 代表第4个虚拟视点的视差平面的坐标位置, 代表第5
个虚拟视点的视差平面的坐标位置, 代表第6个虚拟视点的视差平面的坐标位置,d=dmax代表右视点的视差平面的坐标位置,当d=0时DSIorg(x,y,t,d)=Lorg,t(x,y),当时 当 时 当
时 当 时 当
时 当 时 当d=
dmax时DSIorg(x,y,t,d)=Rorg,t(x,y)。
[0043] 同样,将Ldis、 和Rdis按各自所在的视差平面的坐标位置从小到大的顺序排列,构成Sdis的四维空间图,记为{DSIdis(x,y,t,d)};其中,当d=0时DSIdis(x,y,t,d)=Ldis,t(x,y),当 时 当 时
当 时 当 时
当 时 当 时
当d=dmax时DSIdis(x,y,t,d)=Rdis,t(x,y)。
[0044] ④将{DSIorg(x,y,t,d)}划分成 个互不重叠的尺寸大小为8×8×8×8的四维空间体;然后对{DSIorg(x,y,t,d)}中的每个四维空间体中的每个像素点进行离散余弦变换,得到{DSIorg(x,y,t,d)}中的每个四维空间体中的每个像素点的DCT系数。
[0045] 同样,将{DSIdis(x,y,t,d)}划分成 个互不重叠的尺寸大小为8×8×8×8的四维空间体;然后对{DSIdis(x,y,t,d)}中的每个四维空间体中的每个像素点进行离散余弦变换,得到{DSIdis(x,y,t,d)}中的每个四维空间体中的每个像素点的DCT系数。
[0046] ⑤考虑到图像失真会引起DCT系数的不同子带分布发生变化,本发明方法计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的系数距离,记为Q1。
[0047] 在此具体实施例中,步骤⑤的具体过程为:
[0048] ⑤_1、将{DSIorg(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成10个不同的子带;然后将{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于相同子带的所有DCT系数构成一个DCT系数子带集合,将{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的所有DCT系数构成的DCT系数子带集合记为 其中,1≤i≤10, 表示 中的第j个DCT系数,即为{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的第j个DCT系数,Ni表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的DCT系数的总个数。
[0049] 同样,将{DSIdis(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成10个不同的子带;然后将{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于相同子带的所有DCT系数构成一个DCT系数子带集合,将{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的所有DCT系数构成的DCT系数子带集合记为 其中, 表示 中的第j个DCT系数,即为{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的第j个DCT系数,Ni亦表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第i个子带的DCT系数的总个数。
[0050] 在本实施例中,对于一个尺寸大小为8×8的图像块,将该图像块中的所有像素点的DCT系数分解成10个不同的子带的示意图如图2所示,一个尺寸大小为8×8×8×8的四维空间体可以看作是由64个尺寸大小为8×8的图像块构成,因此,
[0051] ⑤_2、获取{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布,将 中的DCT系数的直方图分布记为 其中,表示 中在第k个直方图节点处的DCT系数的总个数。
[0052] 同样,获取{DSIdis(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布,将 中的DCT系数的直方图分布记为 其中, 表示 中在第k个直方图节点处的DCT系数的总个数。
[0053] ⑤_3、采用现有的广义高斯分布(GGD)模型对{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布进行拟合,拟合得到{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布的拟合曲线,将 的拟合曲线记为 将 中与 对应的点值记为
其中, 表示拟合曲线 的尺度参数, 表示拟合
曲线 的形状参数,exp()表示以自然基数e为底的指数函数,符号“| |”为取绝对值符号,t为积分变量。
[0054] ⑤_4、计算{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布与其拟合曲线之间的距离,将 与 之间的距离记为然后计算{DSIorg(x,y,t,d)}对应的所有DCT系数子带集合中的
DCT系数的直方图分布所对应的距离之和,记为dorg,
[0055] 并计算{DSIdis(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布与{DSIorg(x,y,t,d)}对应的每个DCT系数子带集合中的DCT系数的直方图分布的拟合曲线之间的距离,将 与 之间的距离记为然后计算{DSIdis(x,y,t,d)}对应的所有DCT系数子带集合中的DCT系数的直方图分布所对应的距离之和,记为ddis,
[0056] ⑤_5、计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的系数距离Q1,Q1=|dorg-ddis|。
[0057] ⑥考虑到图像失真会引起DCT系数的不同频带之间关系发生变化,本发明方法计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的频率比距离,记为Q2。
[0058] 在此具体实施例中,步骤⑥的具体过程为:
[0059] ⑥_1、将{DSIorg(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成3个不同的频带,分别为低频频带、中频频带和高频频带。
[0060] 同样,将{DSIdis(x,y,t,d)}中的每个四维空间体中的所有像素点的DCT系数分解成3个不同的频带,分别为低频频带、中频频带和高频频带。
[0061] 在本实施例中,将第1个、第2个、第3个和第4个子带构成低频频带,将第5个、第6个和第7个子带构成中频频带,将第8个、第9个和第10个子带构成高频频带,因此,{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第1个频带即低频频带的DCT系数的总个数、{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第1个频带即低频频带的DCT系数的总个数均为 {DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第2个频带即中频频带的DCT系数的总个数、{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第2个频带即中频频带的DCT系数的总个数均为 {DSIorg(x,y,t,d)}中的所有
四维空间体中的所有像素点的DCT系数中属于第3个频带即高频频带的DCT系数的总个数、{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于第3个频带即高频频带的DCT系数的总个数均为
[0062] ⑥_2、计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数的频率比系数,记为γorg, 其中,μorg,Mid表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于中频频带的所有DCT系数的均值,μorg,High表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于高频频带的所有DCT系数的均值,μorg,Low表示{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于低频频带的所有DCT系数的均值。
[0063] 同样,计算{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数的频率比系数,记为γdis, 其中,μdis,Mid表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于中频频带的所有DCT系数的均值,μdis,High表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于高频频带的所有DCT系数的均值,μdis,Low表示{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数中属于低频频带的所有DCT系数的均值。
[0064] ⑥_3、计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的频率比距离其中,符号“| |”为取绝对值符号。
[0065] ⑦计算Sdis的客观质量评价预测值,记为Q,Q=λ×Q1+(1-λ)×Q2;其中,λ为加权参数,在本实施例中取λ=0.8。
[0066] 在本实施例中,采用本发明方法对宁波大学建立的三维视频质量评价数据库进行测试,该三维视频质量评价数据库包含8个原始的彩色视频和对应的深度视频,对彩色视频进行4个强度的编码失真,对深度视频也进行4个强度的编码失真,并通过组合得到192个虚拟视点绘制视频,并给出了每个虚拟视点绘制视频的平均主观评分差值。
[0067] 在本实施例中,利用评估图像质量评价方法的4个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)、Spearman相关系数(Spearman rank order correlation coefficient,SROCC)、Kendall相关系数(Kendall rank-order correlation coefficient,KROCC)、均方误差(root mean squared error,RMSE),PLCC和RMSE反映客观评价预测值的准确性,SROCC和KROCC反映其单调性。将分别采用本发明方法与公知的PSNR和SSIM全参考质量评价方法得到失真的三维视频的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数、Spearman相关系数、Kendall相关系数和均方误差进行比较,比较结果如表1所示。从表1中可以看出,采用本发明方法得到的失真的三维视频的客观质量评价预测值与平均主观评分差值之间的相关性是很高的,充分表明了本发明方法的客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
[0068] 表1利用本发明方法与公知的PSNR和SSIM全参考质量评价方法得到的失真的三维视频的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数、Spearman相关系数、Kendall相关系数和均方误差比较
[0069]  PLCC SROCC KROCC RMSE
PSNR方法 0.8375 0.8552 0.6411 7.8790
SSIM方法 0.7091 0.6988 0.5171 10.8747
本发明方法 0.8513 0.8487 0.6582 7.1537

降参考三维视频质量评价方法委托购买说明

填写需求表单支付预付款

平台根据需求优化购买方案

确认购买方案支付尾款

平台办理变更等待成功通知

降参考三维视频质量评价方法购买流程说明

发起委托,需要先支付100元预付款,委托不成功,全额退返预付款;

平台收到需求后,会联系您,给到您购买方案;

您在确认购买方案后,需支付全额专利购买费,预付款可抵扣购买费,专利购买费具体参见下方表格;

平台确认收款后,将帮您办理专利购买、专利过户等全流程手续;

平台代购专利失败,将全额退返专利购买费,包括预付款;

降参考三维视频质量评价方法专利购买费用

授权未缴费=专利裸价+著录项变更(200元)+登办费(当年年费+5元印花税)+恢复权利请求费1000元(按实收)+委托服务费(200元)+税金(专利裸价+委托服务费)x6%

已下证=专利裸价+著录项变更(200元)+滞纳金(按实收)+恢复权利请求费1000元(按实收)+委托服务费(200元)+税金(专利裸价+委托服务费)x6%

降参考三维视频质量评价方法购买费用说明

专利转让费用

专利买卖交易资料

Q:办理专利转让的流程及所需资料

A:专利权人变更需要办理著录项目变更手续,有代理机构的,变更手续应当由代理机构办理。

1:专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2:按规定缴纳著录项目变更手续费。

3:同时提交相关证明文件原件。

4:专利权转移的,变更后的专利权人委托新专利代理机构的,应当提交变更后的全体专利申请人签字或者盖章的委托书。更多

Q:专利著录项目变更费用如何缴交

A:(1)直接到国家知识产权局受理大厅收费窗口缴纳,(2)通过代办处缴纳,(3)通过邮局或者银行汇款,更多缴纳方式

Q:专利转让变更,多久能出结果

A:著录项目变更请求书递交后,一般1-2个月左右就会收到通知,国家知识产权局会下达《转让手续合格通知书》。

更多专利转让常见问题

动态评分

0.0

没有评分数据
没有评论数据
 
X 顶部大图