专利分类
专利分类

机器学习的无参考立体图像质量客观评价方法专利

专利号:201510017701

销售价
1500
机器学习的无参考立体图像质量客观评价方法专利二维码
  • 累计销量0
  • 浏览次数56
  • 累计评论0
首页

专利名称:基于机器学习的无参考立体图像质量客观评价方法

技术领域:机器学习,立体图像

IPC主分类号:H04N17/00

申请号:CN201510017701.0

公开日:2016-08-24

说明书

一种基于机器学习的无参考立体图像质量客观评价方法

技术领域

[0001] 本发明涉及一种图像质量评价方法,尤其是涉及一种基于机器学习的无参考立体图像质量客观评价方法。

背景技术

[0002] 随着图像编码技术和立体显示技术的迅速发展,立体图像技术受到了越来越广泛的关注与应用,已成为当前的一个研究热点。立体图像技术利用人眼的双目视差原理,双目各自独立地接收来自同一场景的左视点图像和右视点图像,通过大脑融合形成双目视差,从而欣赏到具有深度感和逼真感的立体图像。与单通道图像相比,立体图像需要同时保证两个通道的图像质量,因此对其进行质量评价具有非常重要的意义。然而,目前对立体图像质量缺乏有效的客观评价方法进行评价。因此,建立有效的立体图像质量客观评价模型具有十分重要的意义。
[0003] 由于影响立体图像质量的因素较多,如左视点和右视点质量失真情况、立体感知情况、观察者视觉疲劳等,因此如何有效地进行立体图像质量评价是亟需解决的难点问题。现有的方法主要是通过机器学习来预测评价模型的,但针对立体图像,现有的立体图像评价方法还是平面图像评价方法的简单扩展,并没有考虑双目视觉特性,因此,如何在在评价过程中有效地提取图像特征信息,如果在评价过程中进行双目结合,使得客观评价结果更加感觉符合人类视觉系统,是在对立体图像进行客观质量评价过程中需要研究解决的问题。

发明内容

[0004] 本发明所要解决的技术问题是提供一种基于机器学习的无参考立体图像质量客观评价方法,其能够有效地提高客观评价结果与主观感知之间的相关性。
[0005] 本发明解决上述技术问题所采用的技术方案为:一种基于机器学习的无参考立体图像质量客观评价方法,其特征在于包括以下步骤:
[0006] ①选取N幅原始的无失真立体图像的左视点图像构成训练图像集,记为{Li,org|1≤i≤N},其中,N≥1,Li,org表示{Li,org|1≤i≤N}中的第i幅图像;
[0007] ②利用高斯差分滤波器对{Li,org|1≤i≤N}中的每幅图像实施高斯差分滤波,得到{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像;
[0008] ③对{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像进行非重叠的分块处理;然后采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作,获得每个尺度下的目标训练字典;再将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表,构造得到{Li,org|1≤i≤N}的视觉字典表,记为D,D={Dj|1≤j≤S},其中,j的初始值为1,S表示高斯差分滤波器的尺度个数,Dj表示第j个尺度下的j j目标训练字典,D亦表示第j个尺度下的N幅滤波图像的视觉字典表,D亦表示D中的第j个视觉字典;
[0009] ④将待评价的失真立体图像的左视点图像记为{IL(x,y)},将待评价的立体图像的右视点图像记为{IR(x,y)},其中,此处(x,y)表示{IL(x,y)}和{IR(x,y)}中的像素点的坐标位置,1≤x≤W′,1≤y≤H′,W′表示待评价的失真立体图像的宽度,H′表示待评价的失真立体图像的高度,IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值,IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值;
[0010] ⑤利用高斯差分滤波器对{IL(x,y)}实施高斯差分滤波,得到{IL(x,y)}在不同尺度下的滤波图像;然后对{IL(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理;接着根据{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;再采用最大池化方法,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;最后根据{IL(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵,获得{IL(x,y)}的特征矢量,记为FL, 其中,j的初始值为1,S表示高斯差分滤波器的尺度个数,在此M′表示{IL(x,y)}在每个尺度下的滤波图像中包含的子块的总个数, 表示由{IL(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t′个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;
[0011] 同样,利用高斯差分滤波器对{IR(x,y)}实施高斯差分滤波,得到{IR(x,y)}在不同尺度下的滤波图像;然后对{IR(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理;接着根据{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;再采用最大池化方法,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;最后根据{IR(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵,获得{IR(x,y)}的特征矢量,记为FR, 其中,在此M′表示{IR(x,y)}在每个尺度下的滤波图像中包含的子块的总个数, 表示由{IR(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t′个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;
[0012] ⑥采用n幅失真立体图像建立失真立体图像集合,利用主观质量评价方法获取失真立体图像集合中的每幅失真立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100],n≥1;然后按照步骤⑤中计算待评价的失真立体图像的左视点图像的特征矢量FL和右视点图像的特征矢量FR的操作,以相同的方式计算失真立体图像集合中的每幅立体图像的左视点图像和右视点图像各自的特征矢量,将失真立体图像集合中的第i幅立体图像的左视点图像的特征矢量和右视点图像的特征矢量对应记为Fi,L和Fi,R,其中,1≤i≤n,n表示失真立体图像集合中包含的失真立体图像的幅数;
[0013] ⑦随机选择失真立体图像集合中的m幅失真立体图像构成训练集,将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集;接着将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对左视点训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量 和最优的偏置项 再利用得到的最优的权重矢量 和最优的偏置项 构造左视点图像的支持向量回归训练模型,记为fL(Finp), 其中,fL()为函数表示形式,在此Finp表示左视点图像的支持向量回归训练模型的输入矢量, 为 的转置矩阵, 表示左视点图
像的支持向量回归训练模型的输入矢量Finp的线性函数;
[0014] 同样,将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对右视点训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量 和最优的偏置项 再利用得到的最优的权重矢量 和最优的偏置项构造右视点图像的支持向量回归训练模型,记为fR(Finp),
其中,fR()为函数表示形式,在此Finp表示右视点图像的支持向量回归训练模型的输入矢量, 为 的转置矩阵, 表示右视点图像的支持向量回归训练模型的输入矢
量Finp的线性函数;
[0015] ⑧将测试集中的所有失真立体图像各自的左视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成左视点测试样本数据集合;然后根据左视点图像的支持向量回归训练模型,对左视点测试样本数据集合中的每个特征矢量进行测试,预测得到左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值,将左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值记为QL,q,QL,q=fL(FL,q), 其中,1≤q≤n-m,m表示训练集中包含的失真立体图像的幅数,FL,q表示左视点测试样本数据集合中的第q个特征矢量, 表示左视点测试样本数据集合中的第q个特征矢量的线性函数;
[0016] 同样,将测试集中的所有失真立体图像各自的右视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成右视点测试样本数据集合;然后根据右视点图像的支持向量回归训练模型,对右视点测试样本数据集合中的每个特征矢量进行测试,预测得到右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值,将右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值记为QR,q,QR,q=fR(FR,q), 其中,FR,q表示右视点测试样本数据集合中的第q个特征矢量, 表示右视点测试样本数据集合中的第q个特征矢量的线性函数;
[0017] ⑨根据左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值和右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值,计算测试集中的每幅失真立体图像的客观质量评价预测值,将测试集中的第q幅失真立体图像的客观质量评价预测值记为Qq,Qq=wL,q×QL,q+wR,q×QR,q,其中,QL,q表示左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值,QL,q亦表示测试集中的第q幅失真立体图像的左视点图像的客观质量评价预测值,QR,q表示右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值,QR,q亦表示测试集中的第q幅失真立体图像的右视点图像的客观质量评价预测值,wL,q表示QL,q的权重, wR,q表示QR,q的权重, 符号“||||2”为求取矩阵的2-范数符号,符号“<>”为求内积符号;
[0018] ⑩重复执行步骤⑦至步骤⑨P次,并使失真立体图像集合中的每幅失真立体图像至少有一次属于测试集,经过P次执行后计算失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值,再将失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值作为该幅失真立体图像的最终的客观质量评价预测值,其中,P的取值大于100。
[0019] 所述的步骤③的具体过程为:
[0020] ③-1、将{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像划分成个互不重叠的尺寸大小为8×8的子块;然后将每个尺度下的N幅滤波图像中的所有子块构成一个集合,将由第j个尺度下的N幅滤波图像中的所有子块构成的集合记为其中,W表示原始的无失真立体图像的宽度,H表示原始的无失真立体图像
的高度,j的初始值为1,1≤j≤S,S表示高斯差分滤波器的尺度个数, 表
示由第j个尺度下的N幅滤波图像中的第t个子块中的所有像素点组成的列向量, 的维数为64×1;
[0021] ③-2、采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作,获得每个尺度下的目标训练字典,将第j个尺度下的目标训练字典记为Dj,Dj通过K-SVD方法求解 得到,其中,min()为取最小值函数,符号“||||2”为求取矩阵的2-范数符号, Yj的维数为64×M, 为 中的
第1个列向量, 为 中的第t个列向量, 为 中的第M个列向
量,Xj表示第j个尺度下的稀疏矩阵, 表示Xj中的第1个列向量,
表示Xj中的第t个列向量, 表示Xj中的第M个列向量,Xj的维数为K×M,K表示设定的字典的个数,K≥1,符号“[]”为矢量表示符号,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数,Dj的维数为64×K;
[0022] ③-3、将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表,构造得到{Li,org|1≤i≤N}的视觉字典表,记为D,D={Dj|1≤j≤S}。
[0023] 所述的步骤③-2中取τ=0.1。
[0024] 所述的步骤⑤的具体过程为:
[0025] ⑤-1a、利用高斯差分滤波器对{IL(x,y)}实施高斯差分滤波,得到{IL(x,y)}在不同尺度下的滤波图像,将{IL(x,y)}在第j个尺度下的滤波图像记为 其中,j的初始值为1,1≤j≤S,S表示高斯差分滤波器的尺度个数, 表示 中坐标位置
为(x,y)的像素点的像素值;
[0026] ⑤-2a、将{IL(x,y)}在每个尺度下的滤波图像划分成 个互不重叠的尺寸大小为8×8的子块,然后将{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合,将由中的所有子块构成的集合记为 其中, 表示由
中的第t′个子块中的所有像素点组成的列向量, 的维数为64×1;
[0027] ⑤-3a、根据{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;对于 中的每个元素的稀疏系数矩阵,根据 中的每个元素和在训练阶段构造得到
的视觉字典表D中的第j个视觉字典Dj获得,将 的稀疏系数矩阵记为
其中,(Dj)-1为Dj的逆矩阵, 的维数为K×1;
[0028] ⑤-4a、获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵,将 经最大池化后得到的稀疏系数矩阵记为的获取过程为:将 的转置矩阵 表示为 然后采用最大池化方法重新计算 中的每个元素的值,将经最大池化方法重新获得的 表示为再对 进行转置得到 其中,1≤k≤K, 表示 中的第1列元素的值,
表示 中的第k列元素的值, 表示 中的第K列元素的值, 为 的转置
矩阵, 表示 中的第1列元素的值, 表示 中的第k列元素的值, 表
示 中的第K列元素的值,max()为取最大值函数;
[0029] ⑤-5a、获取{IL(x,y)}的特征矢量,记为FL, 其中,FL的维数为K×1;
[0030] ⑤-1b、利用高斯差分滤波器对{IR(x,y)}实施高斯差分滤波,得到{IR(x,y)}在不同尺度下的滤波图像,将{IR(x,y)}在第j个尺度下的滤波图像记为 其中,表示 中坐标位置为(x,y)的像素点的像素值;
[0031] ⑤-2b、将{IR(x,y)}在每个尺度下的滤波图像划分成 个互不重叠的尺寸大小为8×8的子块,然后将{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合,将由 中的所有子块构成的集合记为 其中, 表示由
中的第t′个子块中的所有像素点组成的列向量, 的维数为64×1;
[0032] ⑤-3b、根据{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;对于 中的每个元素的稀疏系数矩阵,根据 中的每个元素和在训练阶段构造得到的视觉字典
表D中的第j个视觉字典Dj获得,将 的稀疏系数矩阵记为 其中,
(Dj)-1为Dj的逆矩阵, 的维数为K×1;
[0033] ⑤-4b、获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵,将 经最大池化后得到的稀疏系数矩阵记为的获取过程为:将 的转置矩阵 表示为然后采用最大池化方法重新计算 中的每个元素的值,将经最大池化方法重新获得的 表示为再对 进行转置得到 其中, 表示 中的第1列元素的值, 表示
中的第k列元素的值, 表示 中的第K列元素的值, 为 的转置矩
阵, 表示 中的第1列元素的值, 表示 中的第k列元素的值, 表示
中的第K列元素的值;
[0034] ⑤-5b、获取{IR(x,y)}的特征矢量,记为FR, 其中,FR的维数为K×1。
[0035] 所述的步骤⑦的具体过程为:
[0036] ⑦-1、随机选择失真立体图像集合中的 幅失真立体图像构成训练集,将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集,其中,符号 为向下取整符号;
[0037] ⑦-2、将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合,记为其中,Fp,L表示训练集中的第p幅失真立体图像的左视点图像的特征矢量,DMOSp表示训练集中的第p幅失真立体图像的平均主观评分差值,1≤p≤m;
[0038] ⑦-3、构造 中的每个特征矢量的回归函数,将Fp,L的回归函数记为f(Fp,L),其中,f()为函数表示形式,w为权重矢量,wT为w的转置矩阵,b为偏置项, 表示Fp,L的线性函数, D(Fp,L,Fp′,L)为支持向量回归
中的核函数, Fp′,L表示训练集中的第p′幅失真立体图像
的左视点图像的特征矢量,1≤p′≤m,γ为核参数,exp()表示以自然基底e为底的指数函数,符号“||||”为求欧式距离符号;
[0039] ⑦-4、采用支持向量回归对 中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量 和最优的偏置项 将最优的权重矢量 和最优的偏置项 的组合记为然后利用得到的最优的权重矢量 和最优的偏置项
构造左视点图像的支持向量回归训练模型,记为fL(Finp),
其中,Ψ表示对 中的所有特征矢量进行训练的所有的权重矢量和偏置项的组合的集合,表示求使得 最小的w和b的值,fL()为
函数表示形式,在此Finp表示左视点图像的支持向量回归训练模型的输入矢量, 为的转置矩阵, 表示左视点图像的支持向量回归训练模型的输入矢量Finp的线性
函数;
[0040] ⑦-5、将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合,记为其中,Fp,R表示训练集中的第p幅失真立体图像的右视点图像的特征矢量,1≤p≤m;然后按照步骤⑦-3至步骤⑦-4的操作,以相同的方式获取最优的权重矢量和最优的偏置项 并利用得到的最优的权重矢量 和最优的偏置项 构造右视
点图像的支持向量回归训练模型,记为fR(Finp), 其中,fR()为
函数表示形式,在此Finp表示右视点图像的支持向量回归训练模型的输入矢量, 为的转置矩阵, 表示右视点图像的支持向量回归训练模型的输入矢量Finp的线性
函数。
[0041] 与现有技术相比,本发明的优点在于:
[0042] 1)本发明方法通过在训练阶段构造视觉字典表,对于任意一幅失真立体图像的左视点图像和右视点图像,根据已构造的视觉字典表,计算左视点图像和右视点图像各自中的每个子块的稀疏系数矩阵,并通过最大池化方法得到左视点图像和右视点图像各自的特征矢量,特征提取方法简单,计算复杂度低。
[0043] 2)本发明方法通过构造左视点图像的支持向量回归训练模型和右视点图像的支持向量回归训练模型,分别预测得到测试样本数据集合中的每个特征矢量对应的左视点图像和右视点图像各自的客观质量评价预测值,并根据特征矢量信息进行加权,计算得到立体图像的最终的客观质量评价预测值,由于获得的立体图像的特征矢量信息能够较好地反映立体图像的质量变化情况,因此有效地提高了客观评价结果与主观感知之间的相关性。

附图说明

[0044] 图1为本发明方法的总体实现框图。

具体实施方式

[0045] 以下结合附图实施例对本发明作进一步详细描述。
[0046] 本发明提出的一种基于机器学习的无参考立体图像质量客观评价方法,其总体实现框图如图1所示,其包括以下步骤:
[0047] ①选取N幅原始的无失真立体图像的左视点图像构成训练图像集,记为{Li,org|1≤i≤N},其中,N≥1,Li,org表示{Li,org|1≤i≤N}中的第i幅图像,即表示第i幅原始的无失真立体图像的左视点图像,符号“{}”为集合表示符号。
[0048] 在具体实施时,原始的无失真立体图像选取的幅数应当适当,如果N的值越大,则通过训练得到的视觉字典表的精度也就越高,但计算复杂度也就越高,因此在本实施例中取N=10。
[0049] ②利用高斯差分滤波器对{Li,org|1≤i≤N}中的每幅图像实施高斯差分滤波,得到{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像,将由第j个尺度下的N幅滤波图像构成的集合记为 其中,j的初始值为1,1≤j≤S,S表示高斯差分滤波器的尺度个数,在本实施例中取S=5,1≤x≤W,1≤y≤H,W表示选取的原始的无失真立体图像的宽度,H表示选取的原始的无失真立体图像的高度, 表示Li,org在第j个尺度下的滤波图像 中坐标位置为(x,y)的像素点的像素值。
[0050] ③对{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像进行非重叠的分块处理;然后采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作,获得每个尺度下的目标训练字典;再将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表,构造得到{Li,org|1≤i≤N}的视觉字典表,记为D,D={Dj|1≤j≤S},其中,j的初始值为1,S表示高斯差分滤波器的尺度个数,在本实施例中取S=5,Dj表示第j个尺度下的目标训练字典,Dj亦表示第j个尺度下的N幅滤波图像的视觉字典表,Dj亦表示D中的第j个视觉字典。
[0051] 在此具体实施例中,步骤③的具体过程为:
[0052] ③-1、将{Li,org|1≤i≤N}中的每幅图像在不同尺度下的滤波图像划分成 个互不重叠的尺寸大小为8×8的子块;然后将每个尺度下的N幅滤波图像中的所有子块构成一个集合,将由第j个尺度下的N幅滤波图像中的所有子块构成的集合记为其中,W表示原始的无失真立体图像的宽度,H表示原始的无失真立体图像的高度,j的初始值为1,1≤j≤S,S表示高斯差分滤波器的尺度个数, 表示由第j个尺度
下的N幅滤波图像中的第t个子块中的所有像素点组成的列向量, 的维数为64×1。
[0053] ③-2、采用K-SVD方法对由每个尺度下的N幅滤波图像中的所有子块构成的集合进行字典训练操作,获得每个尺度下的目标训练字典,将第j个尺度下的目标训练字典记为j jD ,D 通过K-SVD方法求解 得到,其中,min()为取最小值函数,符号“|||
|2”为求取矩阵的2-范数符号, Yj的维数为64×M, 为
中的第1个列向量, 亦表示由第j个尺度下的N幅滤波图像中的第1个子块中的所有像素点组成的列向量, 为 中的第t个列向量, 亦表示由第j个尺度下的N幅滤
波图像中的第t个子块中的所有像素点组成的列向量, 为 中的第M个列向
量, 亦表示由第j个尺度下的N幅滤波图像中的第M个子块中的所有像素点组成的列向量,Xj表示第j个尺度下的稀疏矩阵, 表示Xj中的第1个列向量,
j j j
表示X中的第t个列向量, 表示X中的第M个列向量,X的维数为K×M,K表示设定的字典的个数,K≥1,K的取值过大会出现过聚类现象,K的取值过小会出现欠聚类现象,在本实施例中取K=128,符号“[]”为矢量表示符号,符号“||||0”为求取矩阵的0-范数符号,τ为误差系数,在本实施例中取τ=0.1,Dj的维数为64×K。
[0054] ③-3、将每个尺度下的目标训练字典作为该尺度下的N幅滤波图像的视觉字典表,构造得到{Li,org|1≤i≤N}的视觉字典表,记为D,D={Dj|1≤j≤S}。
[0055] ④将待评价的失真立体图像的左视点图像记为{IL(x,y)},将待评价的立体图像的右视点图像记为{IR(x,y)},其中,此处(x,y)表示{IL(x,y)}和{IR(x,y)}中的像素点的坐标位置,1≤x≤W′,1≤y≤H′,W′表示待评价的失真立体图像的宽度,H′表示待评价的失真立体图像的高度,W′的值与W的值可以相同,也可以不相同,H′的值与H的值可以相同,也可以不相同,IL(x,y)表示{IL(x,y)}中坐标位置为(x,y)的像素点的像素值,IR(x,y)表示{IR(x,y)}中坐标位置为(x,y)的像素点的像素值。
[0056] ⑤利用高斯差分滤波器对{IL(x,y)}实施高斯差分滤波,得到{IL(x,y)}在不同尺度下的滤波图像;然后对{IL(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理;接着根据{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;再采用最大池化方法,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;最后根据{IL(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵,获得{IL(x,y)}的特征矢量,记为FL, 其中,j的初始值为1,S表示高斯差分滤波器的尺度个数,在此M′表示{IL(x,y)}在每个尺度下的滤波图像中包含的子块的总个数, 表示由{IL(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t′个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵。
[0057] 同样,利用高斯差分滤波器对{IR(x,y)}实施高斯差分滤波,得到{IR(x,y)}在不同尺度下的滤波图像;然后对{IR(x,y)}在每个尺度下的滤波图像进行非重叠的分块处理;接着根据{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;再采用最大池化方法,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵;最后根据{IR(x,y)}对应的所有经最大池化后得到的稀疏系数矩阵,获得{IR(x,y)}的特征矢量,记为FR, 其中,在此M′表示{IR(x,y)}在每个尺度下的滤波图像中包含的子块的总个数, 表示由{IR(x,y)}在第j个尺度下的滤波图像中的所有子块构成的集合中的第t′个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵。
[0058] 在此具体实施例中,步骤⑤的具体过程为:
[0059] ⑤-1a、利用高斯差分滤波器对{IL(x,y)}实施高斯差分滤波,得到{IL(x,y)}在不同尺度下的滤波图像,将{IL(x,y)}在第j个尺度下的滤波图像记为 其中,j的初始值为1,1≤j≤S,S表示高斯差分滤波器的尺度个数, 表示 中坐标位置
为(x,y)的像素点的像素值。
[0060] ⑤-2a、将{IL(x,y)}在每个尺度下的滤波图像划分成 个互不重叠的尺寸大小为8×8的子块,然后将{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合,将由 中的所有子块构成的集合记为 其中, 表示由
中的第t′个子块中的所有像素点组成的列向量, 的维数为64×1。
[0061] ⑤-3a、根据{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;对于 中的每个元素的稀疏系数矩阵,根据 中的每个元素和在训练阶段构造得到的视觉字典表D中的
第j个视觉字典Dj获得,将 的稀疏系数矩阵记为 其中,(Dj)-1为
j
D的逆矩阵, 的维数为K×1。
[0062] ⑤-4a、获取{IL(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵,将 经最大池化后得到的稀疏系数矩阵记为的获取过程为:将 的转置矩阵 表示为 然后采用最大池化(Max-pooling)方法重新计算 中的每个元素的值,将经最大池化方法重新获得的 表示为再对 进行转置得到 其中,1≤k≤K, 表示 中的第1列元素的值,
表示 中的第k列元素的值, 表示 中的第K列元素的值, 为 的转
置矩阵, 表示 中的第1列元素的值, 表示 中的第k列元素的值,
表示 中的第K列元素的值,max()为取最大值函数。
[0063] ⑤-5a、获取{IL(x,y)}的特征矢量,记为FL, 其中,FL的维数为K×1。
[0064] ⑤-1b、利用高斯差分滤波器对{IR(x,y)}实施高斯差分滤波,得到{IR(x,y)}在不同尺度下的滤波图像,将{IR(x,y)}在第j个尺度下的滤波图像记为 其中,表示 中坐标位置为(x,y)的像素点的像素值。
[0065] ⑤-2b、将{IR(x,y)}在每个尺度下的滤波图像划分成 个互不重叠的尺寸大小为8×8的子块,然后将{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成一个集合,将由 中的所有子块构成的集合记为 其中, 表示由
中的第t′个子块中的所有像素点组成的列向量, 的维数为64×1。
[0066] ⑤-3b、根据{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素和在训练阶段构造得到的视觉字典表D,获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵;对于 中的每个元素的稀疏系数矩阵,根据 中的每个元素和在训练阶段构造得到的视
觉字典表D中的第j个视觉字典Dj获得,将 的稀疏系数矩阵记为
其中,(Dj)-1为Dj的逆矩阵, 的维数为K×1。
[0067] ⑤-4b、获取{IR(x,y)}在每个尺度下的滤波图像中的所有子块构成的集合中的每个元素的稀疏系数矩阵经最大池化后得到的稀疏系数矩阵,将 经最大池化后得到的稀疏系数矩阵记为的获取过程为:将 的转置矩阵 表示为 然后采用最大池化(Max-pooling)方法重新计算 中的每个元素的值,将经最大池化方法重新获得的表示为
再对 进行转置得到 其中, 表示 中的第1列元素的值, 表示
中的第k列元素的值, 表示 中的第K列元素的值, 为 的转置矩
阵, 表示 中的第1列元素的值, 表示 中的第k列元素的值, 表示
中的第K列元素的值。
[0068] ⑤-5b、获取{IR(x,y)}的特征矢量,记为FR, 其中,FR的维数为K×1。
[0069] ⑥采用n幅失真立体图像建立失真立体图像集合,利用现有的主观质量评价方法获取失真立体图像集合中的每幅失真立体图像的平均主观评分差值,记为DMOS,DMOS=100-MOS,其中,MOS表示主观评分均值,DMOS∈[0,100],n≥1;然后按照步骤⑤中计算待评价的失真立体图像的左视点图像的特征矢量FL和右视点图像的特征矢量FR的操作,以相同的方式计算失真立体图像集合中的每幅立体图像的左视点图像和右视点图像各自的特征矢量,将失真立体图像集合中的第i幅立体图像的左视点图像的特征矢量和右视点图像的特征矢量对应记为Fi,L和Fi,R,其中,1≤i≤n,n表示失真立体图像集合中包含的失真立体图像的幅数,在本实施例中,宁波大学立体图像库中取n=312,LIVE立体图像库中取n=365。
[0070] ⑦随机选择失真立体图像集合中的m幅失真立体图像构成训练集,将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集;接着将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对左视点训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量 和最优的偏置项 再利用得到的最优的权重矢量 和最优的偏置项 构造左视点图像的支持向量回归训练模型,记为fL(Finp), 其中,fL()为函数表示形式,在此Finp表示左视点图像的支持向量回归训练模型的输入矢量, 为 的转置矩阵, 表示左视点图
像的支持向量回归训练模型的输入矢量Finp的线性函数。
[0071] 同样,将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合;然后采用支持向量回归作为机器学习的方法,对右视点训练样本数据集合中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量 和最优的偏置项 再利用得到的最优的权重矢量 和最优的偏置项构造右视点图像的支持向量回归训练模型,记为fR(Finp), 其
中,fR()为函数表示形式,在此Finp表示右视点图像的支持向量回归训练模型的输入矢量,为 的转置矩阵, 表示右视点图像的支持向量回归训练模型的输入矢量
Finp的线性函数。
[0072] 在此具体实施例中,步骤⑦的具体过程为:
[0073] ⑦-1、随机选择失真立体图像集合中的 幅失真立体图像构成训练集,将失真立体图像集合中剩余的n-m幅失真立体图像构成测试集,其中,符号 为向下取整符号。
[0074] ⑦-2、将训练集中的所有失真立体图像各自的左视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成左视点训练样本数据集合,记为其中,Fp,L表示训练集中的第p幅失真立体图像的左视点图像的特征矢量,DMOSp表示训练集中的第p幅失真立体图像的平均主观评分差值,1≤p≤m。
[0075] ⑦-3、构造 中的每个特征矢量的回归函数,将Fp,L的回归函数记为f(Fp,L),其中,f()为函数表示形式,w为权重矢量,wT为w的转置矩阵,b为偏置项, 表示Fp,L的线性函数, D(Fp,L,Fp′,L)为支持向量回归
中的核函数, Fp′,L表示训练集中的第p′幅失真立体图像
的左视点图像的特征矢量,1≤p′≤m,γ为核参数,其用于反映输入样本值的范围,样本值的范围越大,γ值也就越大,在本实施例中取γ=54,exp()表示以自然基底e为底的指数函数,e=2.71828183,符号“||||”为求欧式距离符号。
[0076] ⑦-4、采用支持向量回归对 中的所有特征矢量进行训练,使得经过训练得到的回归函数值与平均主观评分差值之间的误差最小,拟合得到最优的权重矢量 和最优的偏置项 将最优的权重矢量 和最优的偏置项 的组合记为然后利用得到的最优的权重矢量 和最优的偏置项
构造左视点图像的支持向量回归训练模型,记为fL(Finp),
其中,Ψ表示对 中的所有特征矢量进行训练的所有的权重矢量和偏置项的组合的集合,表示求使得 最小的w和b的值,fL()为
函数表示形式,在此Finp表示左视点图像的支持向量回归训练模型的输入矢量, 为的转置矩阵, 表示左视点图像的支持向量回归训练模型的输入矢量Finp的线性
函数。
[0077] ⑦-5、将训练集中的所有失真立体图像各自的右视点图像的特征矢量和训练集中的所有失真立体图像各自的平均主观评分差值构成右视点训练样本数据集合,记为其中,Fp,R表示训练集中的第p幅失真立体图像的右视点图像的特征矢量,1≤p≤m;然后按照步骤⑦-3至步骤⑦-4的操作,以相同的方式获取最优的权重矢量和最优的偏置项 并利用得到的最优的权重矢量 和最优的偏置项 构造右
视点图像的支持向量回归训练模型,记为fR(Finp), 其中,fR()
为函数表示形式,在此Finp表示右视点图像的支持向量回归训练模型的输入矢量, 为的转置矩阵, 表示右视点图像的支持向量回归训练模型的输入矢量Finp的线性
函数。
[0078] ⑧将测试集中的所有失真立体图像各自的左视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成左视点测试样本数据集合;然后根据左视点图像的支持向量回归训练模型,对左视点测试样本数据集合中的每个特征矢量进行测试,预测得到左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值,将左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值记为QL,q,QL,q=fL(FL,q), 其中,1≤q≤n-m,m表示训练集中包含的失真立体图像的幅数,FL,q表示左视点测试样本数据集合中的第q个特征矢量, 表示左视点测试样本数据集合中的第q个特征矢量的线性函数。
[0079] 同样,将测试集中的所有失真立体图像各自的右视点图像的特征矢量和测试集中的所有失真立体图像各自的平均主观评分差值构成右视点测试样本数据集合;然后根据右视点图像的支持向量回归训练模型,对右视点测试样本数据集合中的每个特征矢量进行测试,预测得到右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值,将右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值记为QR,q,QR,q=fR(FR,q), 其中,FR,q表示右视点测试样本数据集合中的第q个特征矢量, 表示右视点测试样本数据集合中的第q个特征矢量的线性函数。
[0080] ⑨根据左视点测试样本数据集合中的每个特征矢量对应的左视点图像的客观质量评价预测值和右视点测试样本数据集合中的每个特征矢量对应的右视点图像的客观质量评价预测值,计算测试集中的每幅失真立体图像的客观质量评价预测值,将测试集中的第q幅失真立体图像的客观质量评价预测值记为Qq,Qq=wL,q×QL,q+wR,q×QR,q,其中,QL,q表示左视点测试样本数据集合中的第q个特征矢量对应的左视点图像的客观质量评价预测值,QL,q亦表示测试集中的第q幅失真立体图像的左视点图像的客观质量评价预测值,QR,q表示右视点测试样本数据集合中的第q个特征矢量对应的右视点图像的客观质量评价预测值,QR,q亦表示测试集中的第q幅失真立体图像的右视点图像的客观质量评价预测值,wL,q表示QL,q的权重, wR,q表示QR,q的权重, 符号“||||2”为求取矩阵的2-范数符号,符号“<>”为求内积符号。
[0081] ⑩重复执行步骤⑦至步骤⑨P次,并使失真立体图像集合中的每幅失真立体图像至少有一次属于测试集,经过P次执行后计算失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值,再将失真立体图像集合中的每幅失真立体图像的客观质量评价预测值的平均值作为该幅失真立体图像的最终的客观质量评价预测值,其中,P的取值大于100,在本实施例中取P=1000。
[0082] 这里,利用评估图像质量评价方法的2个常用客观参量作为评价指标,即非线性回归条件下的Pearson相关系数(Pearson linear correlation coefficient,PLCC)和Spearman相关系数(Spearman rank order correlation coefficient,SROCC),PLCC反映失真立体图像的客观质量评价预测值的准确性,SROCC反映其单调性。
[0083] 利用本发明方法计算宁波大学立体图像库中的每幅失真立体图像的客观质量评价预测值和LIVE立体图像库中的每幅失真立体图像的客观质量评价预测值,再利用现有的主观评价方法获得宁波大学立体图像库中的每幅失真立体图像的平均主观评分差值和LIVE立体图像库中的每幅失真立体图像的平均主观评分差值。将按本发明方法计算得到的失真立体图像的客观质量评价预测值做四参数Logistic函数非线性拟合,PLCC和SROCC值越高,说明客观评价结果与平均主观评分差值之间的相关性越好。表1和表2给出了采用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数和Spearman相关系数。从表1和表2中可以看出,采用本发明方法得到的失真立体图像的最终的客观质量评价预测值与平均主观评分差值之间的相关性是很高的,表明了客观评价结果与人眼主观感知的结果较为一致,足以说明本发明方法的有效性。
[0084] 表1利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Pearson相关系数比较
[0085]
[0086] 表2利用本发明方法得到的失真立体图像的客观质量评价预测值与平均主观评分差值之间的Spearman相关系数比较
[0087]

机器学习的无参考立体图像质量客观评价方法委托购买说明

填写需求表单支付预付款

平台根据需求优化购买方案

确认购买方案支付尾款

平台办理变更等待成功通知

机器学习的无参考立体图像质量客观评价方法购买流程说明

发起委托,需要先支付100元预付款,委托不成功,全额退返预付款;

平台收到需求后,会在第一时间联系您,给到您最佳购买方案;

您在确认购买方案后,需支付全额专利购买费,预付款可抵扣购买费,专利购买费具体参见下方表格;

平台确认收款后,将帮您办理专利购买、专利过户等全流程手续;

平台代购专利失败,将全额退返专利购买费,包括预付款;

机器学习的无参考立体图像质量客观评价方法专利购买费用

授权未缴费=专利裸价+著录项变更(200元)+登办费(当年年费+5元印花税)+恢复权利请求费1000元(按实收)+委托服务费(200元)+税金(专利裸价+委托服务费)x6%

已下证=专利裸价+著录项变更(200元)+滞纳金(按实收)+恢复权利请求费1000元(按实收)+委托服务费(200元)+税金(专利裸价+委托服务费)x6%

机器学习的无参考立体图像质量客观评价方法购买费用说明

专利转让费用

专利买卖交易资料

Q:办理专利转让的流程及所需资料

A:专利权人变更需要办理著录项目变更手续,有代理机构的,变更手续应当由代理机构办理。

1:专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2:按规定缴纳著录项目变更手续费。

3:同时提交相关证明文件原件。

4:专利权转移的,变更后的专利权人委托新专利代理机构的,应当提交变更后的全体专利申请人签字或者盖章的委托书。更多

Q:专利著录项目变更费用如何缴交

A:(1)直接到国家知识产权局受理大厅收费窗口缴纳,(2)通过代办处缴纳,(3)通过邮局或者银行汇款,更多缴纳方式

Q:专利转让变更,最快多久能出结果

A:著录项目变更请求书递交后,一般1-2个月左右就会收到通知,国家知识产权局会下达《转让手续合格通知书》。

更多专利转让常见问题

动态评分

0.0

没有评分数据
没有评论数据
 
X 顶部大图