基于迁移学习的任务导向的图像质量测评方法
技术领域
本发明涉及图像质量测评领域，具体涉及一种基于迁移学习的任务导向的图像质量测评方法。
背景技术
人类正跨入信息时代，图像作为信息的重要载体在日常生活和工作中扮演着重要的角色。在图像采集、传输、存储、显示的过程中往往会造成图像降质。因此需要图像质量评价方法对图像的失真程度与是否可以用于后续处理进行判断。由于图像的受体主要是人，所以最可靠的图像质量评价方法是主观质量评价，即组织观看者根据自己的经验与感知对图像质量进行主观评价。然而随着图像数量的增加，主观质量评价将耗费大量的时间人力物力，不能应用于实时图像处理系统。因此，研究人员将更多的注意力放在了客观质量评价算法上。
根据参考信息的使用，客观质量评价算法可分为三类：完全参考图像质量评价（FR-IQA）、半参考图像质量评价（RR-IQA）和无参考图像质量评价（NR-IQA）。FR-IQA和RR-IQA在难以获得参考信息的实际任务中往往表现不佳。因此NR-IQA方法就显得尤为重要，该类方法的研究主要集中在无参考信息的图像上。
无论是主观方法还是客观方法，都会对图像的质量进行评估，并给图像打分作为标签。图像质量的得分可分为两种情况。第一种情况随着拍摄设备和传输渠道的不断完善，图像的内容越来越丰富，细节越来越真实，图像的质量也会越来越高。在这种情况下，质量分数不收敛。在另一种情况下，图像最终会收敛到某个最高点。例如，对于压缩图像，随着图像压缩程度的增加，图像的质量将降低。最高的质量分数将收敛到未压缩图像的得分。
以上两种情况都是为了满足用户的体验，用户满意度越高，就可以说是图像的质量越高。但随着科学技术的不断进步，人类正在探索更多的领域。如今的许多图像不仅用于用户欣赏，也常用来进行专业的分析、理解与处理。例如，水下图像更多被用于海洋资源的勘探，医学图像可以以非侵入的方式获取内部组织信息。当图像质量与特定任务相关时，图像质量得分将出现第三种情况中。当图像足以完成任务时，图像质量分数达到饱和，继续提高质量是没有用的。而图像的质量取决于其完成特定任务的效用。因此研究人员可以根据任务的需要设置不同的质量阈值。然而，目前的关于图像质量的研究工作更多地关注图像的感知质量，无法解决特定任务下的图像质量评价工作。
发明内容
有鉴于此，本发明的目的在于提供一种基于迁移学习的任务导向的图像质量测评方法，以解决现有技术中存在的问题。
为实现上述目的，本发明采用如下技术方案：
一种基于迁移学习的任务导向的图像质量测评方法，包括以下步骤：
步骤S1:获取水下鱼类检测数据集，并进行标注及整理，得到鱼类目标检测数据集；
步骤S2:基于鱼类目标检测数据集训练yolov4网络模型，得到鱼类检测模型fish-yolov4；
步骤S3:构建水下鱼类检测任务导向的图像质量数据库；
步骤S4:基于水下鱼类检测任务导向的图像质量数据库，对鱼类检测模型fish-yolov4进行迁移学习及微调，得到最终的检测模型。
进一步的，所述步骤S1具体为：
步骤S11:对Fish4Knowledge公开的水下鱼类检测数据集进行分帧处理,得到初始数据集；
步骤S12:对初始数据集进行预处理，并对标签进行修正，将标签转换成相应的xml文件，得到鱼类目标检测数据集。
进一步的，所述预处理包括删除数量小于预设的鱼类图像，并对剩余图像做数据增广处理。
进一步的，所述yolov4结构包括CSPDarkNet53、SPP、PAN、FPN。
进一步的，所述步骤S3具体为：
步骤S31:选取N幅具有清晰鱼类特征的图像，每幅图像包含m条鱼；
步骤S32:对选取的图像进行进行失真与降质处理；
步骤S33:将包含存在目标的原始图像及其劣化图像与没有目标的原始图像的若干张图像组成任务导向的图像质量数据库。
进一步的，所述步骤S4具体为:冻结fish-yolov4的backbone和neck部分的参数，并接上进行预测质量的输出层,将该模型用上个步骤所建立的任务导向的图像质量数据库,进行微调，只微调最后的输出层,得到最终的检测模型。
本发明与现有技术相比具有以下有益效果：
本发明能够有效提高图像质量测评效率，提高测评的可靠性及真实性。
附图说明
图1为本发明总体技术路线图；
图2为本发明一实施例中所建立的任务导向的图像质量数据集的图片失真类型示意图；
图3为本发明一实施例中所构建的图像质量测评平台界面；
图4为本发明一实施例中的基于迁移学习的水下鱼类检测图像质量评价模型框架。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于迁移学习的任务导向的图像质量测评方法，包括以下步骤：
步骤S1:获取水下鱼类检测数据集，并进行标注及整理，得到鱼类目标检测数据集；
步骤S2:基于鱼类目标检测数据集训练yolov4网络模型，得到鱼类检测模型fish-yolov4；
步骤S3:构建水下鱼类检测任务导向的图像质量数据库；
步骤S4:基于水下鱼类检测任务导向的图像质量数据库，对鱼类检测模型fish-yolov4进行迁移学习及微调，得到最终的检测模型。
在本实施例中，所述步骤S1具体为：
对Fish4Knowledge公开的水下鱼类检测数据集即水下鱼类视频进行分帧处理。首先数据集存在严重的类别不平衡问题，部分鱼类数量过少，因此需对整体数据进行类别处理，直接删除部分较少鱼类图像，对部分图像做数据增广处理。其次数据集标签存在问题，部分鱼类坐标位置和种类名出现明显错误，需要进行修改或者重新标注，标签包括目标类别，与方框的左上角和右下角的横纵坐标。最后目标检测算法需要读取正确格式的标签，需将标签转换成相应的xml文件。最后经过大量的整理和修正，得到鱼类目标检测数据集（Fish Object Detection Database，FODD）。
在本实施例中，yolov4结构包括CSPDarkNet53、SPP、PAN、FPN。
在本实施例中，选取了145幅具有清晰鱼类特征的图像，每幅图像包含15种鱼类中的1-6条鱼。此外，还补充了90张没有目标的图像。如图2所示，对于上述145张图像进行失真与降质处理，为最全面还原任务背景下的真实水下环境，劣化类型应包括以下内容：由于浮游生物或海洋中微小颗粒影响，水体对光线有严重的衰减和散射作用，因此模拟水下照度失真、对比度失真、海洋雪失真；由于海水扰动、拍摄设备和目标移动等因素干扰模拟水下动态模糊失真；基于目标检测任务下，水下目标是否清晰引入前景背景模糊失真。对原始图像进行劣化处理后，将包含存在目标的原始图像及其劣化图像与没有目标的原始图像的3340张图像组成任务导向的图像质量数据库。
在本实施例中，还设计了主观实验，主观质量的评价标准应该以任务背景为导向，即以该图像能完成任务的效度为标准。在鱼类检测的任务中，如果图像中的鱼类目标清晰可辨，则为高质量图像，反之为低质量图像。测评环境为日光灯与自然光混合照明的实验室环境，环境光照度约为400Lux，建议范围为250~650Lux。实验过程中环境可根据志愿者观看习惯进行微调，包括选择测评志愿者日常观看显示屏合适的位置距离、是否佩戴眼镜等条件；同时所有测评志愿者所用显示器分辨率、亮度以及对比度在进行实验之前都一致统一；测评志愿者每次可随机选择图像组进行测试，为防止测评志愿者由于长时间观看产生疲劳影响主观评价，志愿者每次至少选择1组，最多选择3组，每组测试间隔15分钟；
引入离群系数（OC）来量化数据库的主观一致性：
OC=
Ntotal表示图像的总数，Noutlier表示每个图像获得的主观评分的第25百分位和第75百分位得分之间的差距大于1的数量。对于我们构建的主观数据库，OC=5.32%，因此可以认为不同受试者对整个数据库的判断差异不大。我们将每个观众给出的主观评分值处理成向量，然后计算每个向量之间的归一化互相关（NCC）和欧氏距离（EUD）。NCC和EUD的最终值分别为0.91和0.08。NCC值越高，EUD值越低，表示两个主观评分向量之间的相关性越高。
优选的，在本实施例中，所述步骤S4具体为：重新设计输出层，将第二部分的三个特征图输入到一个全连接层上并输出最后的分数。具体过程为，冻结fish-yolov4的backbone和neck部分的参数，并接上进行预测质量的输出层。之后将该模型用上个步骤所建立的任务导向的图像质量数据集（Task-oriented Image Quality Database，TIQD),进行微调，只微调最后的输出层。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
