封面确定方法、装置、计算机设备及存储介质

文档序号:7776 发布日期:2021-09-17 浏览:48次 英文

封面确定方法、装置、计算机设备及存储介质

技术领域

本申请涉及互联网

技术领域

,特别涉及一种封面确定方法、装置、计算机设备及存储介质。

背景技术

随着互联网技术的不断发展,各类视频的涌现极大丰富了人们的生活。为使用户更快、更准确地获知视频内容或者提高视频的点击率,通常需要为每个视频设置相应的视频封面。

目前,封面确定方法通常为:获取视频中的多帧图像,获取每帧图像的质量参考信息,该质量参考信息用于指示对应图像的图像质量,从该多帧图像中选取质量参考信息最高的图像,将该质量参考信息最高的图像确定为该视频的封面。

然而,上述过程所确定的封面可能会出现内容单一的情况,如纯色图像,无法准确地表达视频内容,降低了确定封面的准确度。

发明内容

本申请实施例提供了一种封面确定方法、装置、计算机设备及存储介质,能够提高所确定封面的准确性。该技术方案如下:

一方面,提供了一种封面确定方法,该方法包括:

响应于对视频的封面确定请求,分别获取该视频中多帧图像的质量参考信息,该质量参考信息用于指示对应图像的图像质量;

分别获取该多帧图像的内容参考信息,该内容参考信息用于指示对应图像的图像内容的丰富程度;

基于该多帧图像的质量参考信息和内容参考信息,从该多帧图像中,确定该视频的封面。

在一些实施例中,分别获取该多帧图像的内容参考信息包括:

对于该多帧图像中的任一帧图像,对该图像进行拉普拉斯边缘检测,得到边缘检测图像;

基于该边缘检测图像的像素值,确定该边缘检测图像的方差值,将该方差值确定为该内容参考信息。

在一些实施例中,分别获取该视频中多帧图像的质量参考信息包括:

对于该多帧图像中的任一帧图像,将该图像输入图像质量模型,通过该图像质量模型对该图像的图像质量进行预测,得到该图像的质量参考信息,该图像质量模型用于对图像的图像质量进行预测。

在一些实施例中,基于该多帧图像的质量参考信息和内容参考信息,从该多帧图像中,确定该视频的封面包括:

从该多帧图像中选取第一图像,若该第一图像的内容参考信息大于内容分数阈值,则将该第一图像确定为该视频的封面,该第一图像为该多帧图像中质量参考信息最高的图像。

在一些实施例中,从该多帧图像中选取第一图像之后,该方法还包括:

若该第一图像的内容参考信息小于或等于该内容分数阈值,则从该多帧图像中选取第二图像,该第二图像为该多帧图像中除该第一图像以外的质量参考信息最高的图像;

若该第二图像的内容参考信息大于该内容分数阈值,则将该第二图像确定为该视频的封面。

在一些实施例中,基于该多帧图像的质量参考信息和内容参考信息,从该多帧图像中,确定该视频的封面包括:

若该多帧图像中不存在内容参考信息大于该内容分数阈值的图像,则将该第一图像确定为该视频的封面。

一方面,提供了一种封面确定装置,该装置包括:

第一获取模块,用于响应于对视频的封面确定请求,分别获取该视频中多帧图像的质量参考信息,该质量参考信息用于指示对应图像的图像质量;

第二获取模块,用于分别获取该多帧图像的内容参考信息,该内容参考信息用于指示对应图像的图像内容的丰富程度;

确定模块,用于基于该多帧图像的质量参考信息和内容参考信息,从该多帧图像中,确定该视频的封面。

在一些实施例中,该第二获取模块,用于:

对于该多帧图像中的任一帧图像,对该图像进行拉普拉斯边缘检测,得到边缘检测图像;

基于该边缘检测图像的像素值,确定该边缘检测图像的方差值,将该方差值确定为该内容参考信息。

在一些实施例中,该第一获取模块,用于:

对于该多帧图像中的任一帧图像,将该图像输入图像质量模型,通过该图像质量模型对该图像的图像质量进行预测,得到该图像的质量参考信息,该图像质量模型用于对图像的图像质量进行预测。

在一些实施例中,该确定模块,用于:

从该多帧图像中选取第一图像,若该第一图像的内容参考信息大于内容分数阈值,则将该第一图像确定为该视频的封面,该第一图像为该多帧图像中质量参考信息最高的图像。

在一些实施例中,该确定模块,还用于:

若该第一图像的内容参考信息小于或等于该内容分数阈值,则从该多帧图像中选取第二图像,该第二图像为该多帧图像中除该第一图像以外的质量参考信息最高的图像;

若该第二图像的内容参考信息大于该内容分数阈值,则将该第二图像确定为该视频的封面。

在一些实施例中,该确定模块,用于:

若该多帧图像中不存在内容参考信息大于该内容分数阈值的图像,则将该第一图像确定为该视频的封面。

一方面,提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条程序代码,该至少一条程序代码由该处理器加载并执行以实现上述的封面确定方法。

一方面,提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条程序代码,该至少一条程序代码由处理器加载并执行以实现上述的封面确定方法。

一方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序代码,该计算机程序代码存储在计算机可读存储介质中,计算机设备的处理器从计算机可读存储介质读取该计算机程序代码,处理器执行该计算机程序代码,使得该计算机设备执行上述封面确定方法。

本申请实施例提供的技术方案,在确定视频的封面时,不仅考虑了图像的质量参考信息,还考虑了图像的内容参考信息,由于该内容参考信息能够指示对应图像的内容丰富程度,因此,所确定的封面不仅图像质量较高,其图像内容也较为丰富,使得所确定的封面能够准确地表达视频内容,提高了确定封面的准确度。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种封面确定方法的实施环境的示意图;

图2是本申请实施例提供的一种封面确定方法的流程图;

图3是本申请实施例提供的一种封面确定方法的流程图;

图4是本申请实施例提供的一种封面确定装置的结构示意图;

图5是本申请实施例提供的一种终端的结构示意图;

图6是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。

图1是本申请实施例提供的一种封面确定方法的实施环境的示意图。参见图1,该实施环境包括:终端101和服务器102。

终端101可以为智能手机、智能手表、台式电脑、手提电脑、虚拟现实终端、增强现实终端、无线终端和膝上型便携计算机等设备中的至少一种。终端101可以运行有各种不同类型的应用程序,如视频应用程序、社交应用程序、直播应用程序等,终端101具有通信功能,可以接入互联网。终端101可以泛指多个终端中的一个,本实施例仅以终端101来举例说明。本领域技术人员可以知晓,上述终端的数量可以更多或更少。

服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式文件系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。服务器102与终端101可以通过有线或无线通信方式进行直接或间接的连接,本申请实施例对此不作限定。可选地,上述服务器102的数量可以更多或更少,本申请实施例对此不加以限定。当然,服务器102还可以包括其他功能服务器,以便提供更全面且多样化的服务。

在一些实施例中,本申请提供的封面确定方法由终端101和服务器102共同执行,相应过程为:用户通过在终端101上进行操作,可以登录视频应用程序、社交应用程序、直播应用程序等应用程序,并在上述应用程序中发布视频,相应地,终端101响应于对视频的发布操作,触发向服务器102发送对视频的封面确定请求,则服务器102接收该视频的封面确定请求后,利用本申请提供的封面确定方法,确定该视频的封面。

图2是本申请实施例提供的一种封面确定方法的流程图。该实施例以服务器为执行主体进行说明,参见图2,该实施例包括:

201.服务器响应于对视频的封面确定请求,分别获取该视频中多帧图像的质量参考信息,该质量参考信息用于指示对应图像的图像质量。

本申请实施例中,封面确定请求用于请求确定视频的封面。在一些实施例中,封面确定请求由终端触发,例如,当用户想要在任一应用程序中发布视频时,对该视频实施发布操作,则终端响应于对该视频的发布操作,触发向服务器发送封面确定请求的过程。

本申请实施例中,质量参考信息为图像的质量评分,该质量评分用于指示对应图像的图像质量。其中,图像质量包括图像逼真度和图像可懂度,图像逼真度用于表示当前图像与标准图像之间的偏离程度,图像可懂度用于表示人或机器能从当前图像中抽取有关特征信息的程度。可选地,图像质量体现在图像的构图比例、色彩对比度、色彩饱和度和明暗对比度等方面。例如,图像的质量参考信息越大,则表示该图像的图像质量越好,也即是图像的构图比例、色彩对比度、色彩饱和度和明暗对比度所对应的效果越好。

202.服务器分别获取该多帧图像的内容参考信息,该内容参考信息用于指示对应图像的图像内容的丰富程度。

本申请实施例中,内容参考信息为图像的内容评分,该内容评分用于指示对应图像的图像内容的丰富程度。例如,内容参考信息越大,则表示该图像的图像内容越丰富。

203.服务器基于该多帧图像的质量参考信息和内容参考信息,从该多帧图像中,确定该视频的封面。

在一些实施例中,服务器基于该多帧图像的质量参考信息和内容参考信息,从该多帧图像中,选取质量参考信息和内容参考信息均高的图像,将所选取的图像确定为该视频的封面。

本申请实施例提供的技术方案,在确定视频的封面时,不仅考虑了图像的质量参考信息,还考虑了图像的内容参考信息,由于该内容参考信息能够指示对应图像的内容丰富程度,因此,所确定的封面不仅图像质量较高,其图像内容也较为丰富,使得所确定的封面能够准确地表达视频内容,提高了确定封面的准确度。

在一些实施例中,分别获取该多帧图像的内容参考信息包括:

对于该多帧图像中的任一帧图像,对该图像进行拉普拉斯边缘检测,得到边缘检测图像;

基于该边缘检测图像的像素值,确定该边缘检测图像的方差值,将该方差值确定为该内容参考信息。

在一些实施例中,分别获取该视频中多帧图像的质量参考信息包括:

对于该多帧图像中的任一帧图像,将该图像输入图像质量模型,通过该图像质量模型对该图像的图像质量进行预测,得到该图像的质量参考信息,该图像质量模型用于对图像的图像质量进行预测。

在一些实施例中,基于该多帧图像的质量参考信息和内容参考信息,从该多帧图像中,确定该视频的封面包括:

从该多帧图像中选取第一图像,若该第一图像的内容参考信息大于内容分数阈值,则将该第一图像确定为该视频的封面,该第一图像为该多帧图像中质量参考信息最高的图像。

在一些实施例中,从该多帧图像中选取第一图像之后,该方法还包括:

若该第一图像的内容参考信息小于或等于该内容分数阈值,则从该多帧图像中选取第二图像,该第二图像为该多帧图像中除该第一图像以外的质量参考信息最高的图像;

若该第二图像的内容参考信息大于该内容分数阈值,则将该第二图像确定为该视频的封面。

在一些实施例中,基于该多帧图像的质量参考信息和内容参考信息,从该多帧图像中,确定该视频的封面包括:

若该多帧图像中不存在内容参考信息大于该内容分数阈值的图像,则将该第一图像确定为该视频的封面。

上述图2所示为本申请的基本流程,下面基于一种具体实施方式,来对本申请提供的方案进行进一步阐述,图3是本申请实施例提供的一种封面确定方法的流程图。该实施例以服务器为执行主体进行说明,参见图3,该实施例包括:

301.服务器响应于对视频的封面确定请求,对该视频进行抽帧,得到该视频的多帧图像。

在一些实施例中,服务器响应于对视频的封面确定请求,在该视频中,每间隔第一数量帧图像,抽取第二数量帧图像,能够抽取得到该视频的多帧图像。

其中,第一数量和第二数量均为预先设定的固定数量。以第一数量为10,第二数量为2为例,假设视频包括100帧图像,则每间隔10帧图像,抽取2帧图像,则能够抽取得到20帧图像。如此,通过对视频进行抽帧,基于抽帧得到的部分图像进行后续确定封面的过程,减小了服务器的处理内容,提高了服务器处理速度,也就提高了确定封面的效率。

需要说明的是,步骤301中的抽帧过程为可选步骤。在一些实施例中,服务器响应于对视频的封面确定请求,无需执行视频的抽帧过程,基于该视频的多帧图像也即是该视频的所有帧图像,执行步骤302即可。示例地,假设1秒可以抽取10帧图像,则一个10秒的视频能够抽帧得到100帧图像,再基于抽帧得到的该100帧图像进行后续确定封面的过程。

302.服务器分别获取该多帧图像的质量参考信息,该质量参考信息用于指示对应图像的图像质量。

本申请实施例中,质量参考信息为图像的质量评分,该质量评分用于指示对应图像的图像质量。在一些实施例中,质量参考信息基于图像质量评价(Image QualityAssessment,IQA)得到,图像质量评价是一种用于评价图像的质量好坏的方法。可选地,图像质量评价包括全参考图像质量评价、半参考图像质量评价和无参考图像质量评价。全参考图像质量评价是指参考图像的完整信息来预测图像的质量;半参考图像质量评价是指参考图像的部分信息来预测图像的质量;无参考图像质量评价是指不参考图像信息来预测图像的质量。

在一些实施例中,对于该多帧图像中的任一帧图像,服务器将该图像输入图像质量模型,通过该图像质量模型对该图像的图像质量进行预测,得到该图像的质量参考信息,该图像质量模型用于对图像的图像质量进行预测。

其中,图像质量模型用于对图像的图像质量进行预测。在一些实施例中,该图像质量模型为深度学习模型,深度学习是一种基于包含复杂结构或由多重非线性变换构成的多个处理层,逐步从原始输入中提取更高级别的特征的算法。例如,图像质量模型可以为深度卷积神经网络(Deep learning Basic Convolutional Neural Network,DBCNN),该深度卷积神经网络是一种基于深度学习的无参考图像质量评价方法。

以图像质量模型为深度卷积神经网络为例,图像质量模型包括输入层、卷积层、池化层、全连接层和输出层。其中,输入层用于将服务器所获取的当前图像输入图像质量模型,并将所输入的图像转化为数字矩阵,以便该图像质量模型进行后续运算过程;卷积层用于对输入层生成的矩阵进行卷积运算,基于该卷积运算的结果对图像提取局部特征,该图像质量模型可以包括一个或多个卷积层;池化层用于将卷积层获得的特征提取值进行量化,来获得维度较小的矩阵,以便对图像特征进一步提取,该图像质量模型可以包括一个或多个池化层;全连接层用于将提取到的局部特征通过权值矩阵,整合为完整图像特征,基于该完整图像特征计算该图像的质量评分;输出层用于获取全连接层输出的质量评分,输出该图像的质量评分,作为该图像的质量参考信息。

本申请实施例所采用的图像质量模型为已训练完成的模型。在一些实施例中,服务器获取多个样本图像以及该多个样本图像的平均主观评分(Mean Opinion Score,MOS),基于该多个样本图像和该多个样本图像的平均主观评分,进行模型训练,得到图像质量模型。其中,平均主观评分是指人为直接对图像进行评价得到的分数。具体地,图像质量模型的训练过程包括:在第一次迭代过程中,分别将该多个样本图像输入初始模型,得到第一次迭代过程的评分训练结果;基于第一次迭代过程的评分训练结果与样本图像对应的平均主观评分,确定损失函数,基于损失函数,对初始模型中的模型参数进行调整;将第一次迭代调整后的模型参数作为第二次迭代的模型参数,再进行第二次迭代;重复多次上述迭代过程,在第N次过程中,以第N-1次迭代调整后的模型参数作为新的模型参数,进行模型训练,直到训练满足目标条件,则将满足目标条件的迭代过程所对应的模型获取为图像质量模型。其中,N为正整数,且N大于1。可选地,训练满足的目标条件可以为初始模型的训练迭代次数达到目标次数,该目标次数可以是预先设定的训练迭代次数;或者,训练满足的目标条件可以为损失值满足目标阈值条件,如损失值小于0.00001。本申请实施例对此不作限定。

在一些实施例中,本申请实施例所采用的图像质量模型是一种深度双线性模型,该深度双线性模型由两个卷积神经网络组成,也即是包含有两个特征提取器。在一种可选的实施例中,该两个卷积神经网络分别用于处理不同失真情况下的图像,例如,该两个卷积神经网络分别用于处理合成失真和真实失真,则该深度双线性模型能够同时处理合成失真和真实失真。可选地,通过深度双线性模型内的两个卷积神经网络,分别对合成失真和真实失真进行处理,得到合成失真对应的特征和真实失真对应的特征,对所输出的两个特征进行双线性组合,得到组合特征,再基于该组合特征,对图像的图像质量进行预测。可选地,双线性组合的过程为将两个特征加权求和、或者将两个特征加权求和平均,或者取两个特征的乘积。

303.服务器分别获取该多帧图像的内容参考信息,该内容参考信息用于指示对应图像的图像内容的丰富程度。

本申请实施例中,内容参考信息为图像的内容评分,该内容评分用于指示对应图像的图像内容的丰富程度。

在一些实施例中,对于该多帧图像中的任一帧图像,服务器对该图像进行拉普拉斯(Laplacian)边缘检测,得到边缘检测图像,基于该边缘检测图像的像素值,确定该边缘检测图像的方差值,将该方差值确定为该内容参考信息。

本申请实施例中,拉普拉斯边缘检测是一种基于拉普拉斯算子进行边缘检测的方法,具体是利用图像的二阶导数来进行边缘检测。拉普拉斯算子用于衡量图像中的高频分量,高频分量是指图像中亮度或者灰度变化剧烈的区域。其中,高频分量的数量与图像内容的丰富程度正相关,也就是说,图像所包括的高频分量的数量越多,则图像的图像内容越丰富。而针对高频分量的检测,主要是对图像边缘进行检测,该图像边缘是指图像所包括的细节边缘。需要说明的是,图像所包括的细节边缘的数量与高频分量的数量正相关,也就是说,图像所包括的细节边缘的数量越多,则图像所包括的高频分量的数量越多。相应地,图像所包括的细节边缘的数量与图像内容的丰富程度正相关,也就是说,图像所包括的细节边缘的数量越多,则图像的图像内容越丰富。

在一些实施例中,对于该多帧图像中的任一帧图像,服务器采用下述公式(1),对该图像进行拉普拉斯边缘检测。

式中,x表示水平方向;y表示垂直方向;表示二阶导数;f为像素点的像素值。

在上述实施例中,通过拉普拉斯边缘检测,基于该图像在水平方向的像素值变化和该图像在垂直方向的像素值变化,能够检测该图像的像素值的快速变化,如此,能够检测到图像所包括的细节边缘的分布情况,从而能够确定图像内容的丰富程度。

在一些实施例中,服务器基于该边缘检测图像的像素值,确定该边缘检测图像的方差值的过程为:服务器获取该边缘检测图像中多个像素点的像素值,对该多个像素点的像素值取平均,得到平均像素值,确定各个像素点的像素值与该平均像素值的差值,得到多个差值,基于该多个差值的平方和与该多个像素点的数量,确定该图像的方差值。

可选地,服务器基于该边缘检测图像所包括的多个像素点的数量、该多个像素点的像素值、该多个像素点的平均像素值和下述公式(2),确定该边缘检测图像的方差值。

式中,D为该边缘检测图像的方差值;E为多个像素点的平均像素值;n为该边缘检测图像所包括的多个像素点的数量;x1、x2、…、xn为对应像素点的像素值。

上述过程以先获取图像的质量评分,再获取图像的内容评分为例,在另一些实施例中,服务器还可以先获取图像的内容评分,再获取图像的质量评分。本申请实施例对步骤302和步骤303的执行先后次序不作限定。

本申请实施例中,利用拉普拉斯算子,能够衡量图像中的高频分量,在参考质量评分的基础上,还参考了内容评分,能够确定出质量评分和内容评分均高的图像作为封面,使得所确定的封面不仅图像质量好且图像内容也丰富,提高了确定封面的准确度。

304.服务器基于该多帧图像的质量参考信息和内容参考信息,从该多帧图像中,确定该视频的封面。

在一些实施例中,服务器获取多帧图像的质量参考信息和内容参考信息后,在该多帧图像中,按照质量参考信息由高至低的次序,依次判断对应图像的内容参考信息是否大于内容分数阈值,直至确定出内容参考信息最先大于内容分数阈值的图像,将所确定的图像确定为该视频的封面。

其中,内容分数阈值为预先设定的固定阈值,如1300。内容分数阈值用于基于内容参考信息对图像进行筛选。其中,内容参考信息大于内容分数阈值的图像即为内容较丰富的图像,而小于内容分数阈值的图像即为内容不丰富的图像。通过设置内容分数阈值,以便对图像进行筛选,从而筛选得到内容较为丰富的图像。

在一些实施例中,服务器从该多帧图像中选取第一图像,若该第一图像的内容参考信息大于内容分数阈值,则将该第一图像确定为该视频的封面,该第一图像为该多帧图像中质量参考信息最高的图像;若该第一图像的内容参考信息小于或等于该内容分数阈值,则从该多帧图像中选取第二图像,该第二图像为该多帧图像中除该第一图像以外的质量参考信息最高的图像,若该第二图像的内容参考信息大于该内容分数阈值,则将该第二图像确定为该视频的封面;若该第二图像的内容参考信息小于或等于该内容分数阈值,则判断剩余图像中质量参考信息最高的图像,直至确定出内容参考信息最先大于内容分数阈值的图像,则将所确定的图像确定为该视频的封面。

在一些实施例中,若该多帧图像中不存在内容参考信息大于该内容分数阈值的图像,则服务器将该第一图像确定为该视频的封面。

在一个具体示例中,假设对视频抽帧得到100帧图像,利用深度卷积神经网络计算该100帧图像的质量参考信息(质量评分),记为Score1;利用拉普拉斯算子计算方差值,记为Score2;对Score2设定一个阈值T(如1300),利用Score2对Score1进行筛选,以确定视频的封面。具体筛选过程为:将该100帧图像中Score1最高的图像记为A,Score1次高的图像记为B,Score1第三高的图像记为C,先判断图像A的Score2是否大于阈值T,若图像A的Score2大于阈值T,则将图像A确定为封面;若图像A的Score2不大于阈值T,则基于Score1由高至低的排列次序,依次判断对应图像的Score2是否大于阈值T,直至确定出最先大于阈值T的图像。如果所有图像的Score2均不大于阈值T,则选取Score1最高的图像(A),确定为视频的封面。

本申请实施例提供的技术方案,在确定视频的封面时,不仅考虑了图像的质量参考信息,还考虑了图像的内容参考信息,由于该内容参考信息能够指示对应图像的内容丰富程度,因此,所确定的封面不仅图像质量较高,其图像内容也较为丰富,使得所确定的封面能够准确地表达视频内容,提高了确定封面的准确度。

图4是本申请实施例提供的一种封面确定装置的结构示意图,参见图4,该装置包括:

第一获取模块401,用于响应于对视频的封面确定请求,分别获取该视频中多帧图像的质量参考信息,该质量参考信息用于指示对应图像的图像质量;

第二获取模块402,用于分别获取该多帧图像的内容参考信息,该内容参考信息用于指示对应图像的图像内容的丰富程度;

确定模块403,用于基于该多帧图像的质量参考信息和内容参考信息,从该多帧图像中,确定该视频的封面。

本申请实施例提供的技术方案,在确定视频的封面时,不仅考虑了图像的质量参考信息,还考虑了图像的内容参考信息,由于该内容参考信息能够指示对应图像的内容丰富程度,因此,所确定的封面不仅图像质量较高,其图像内容也较为丰富,使得所确定的封面能够准确地表达视频内容,提高了确定封面的准确度。

在一些实施例中,该第二获取模块402,用于:

对于该多帧图像中的任一帧图像,对该图像进行拉普拉斯边缘检测,得到边缘检测图像;

基于该边缘检测图像的像素值,确定该边缘检测图像的方差值,将该方差值确定为该内容参考信息。

在一些实施例中,该第一获取模块401,用于:

对于该多帧图像中的任一帧图像,将该图像输入图像质量模型,通过该图像质量模型对该图像的图像质量进行预测,得到该图像的质量参考信息,该图像质量模型用于对图像的图像质量进行预测。

在一些实施例中,该确定模块403,用于:

从该多帧图像中选取第一图像,若该第一图像的内容参考信息大于内容分数阈值,则将该第一图像确定为该视频的封面,该第一图像为该多帧图像中质量参考信息最高的图像。

在一些实施例中,该确定模块403,还用于:

若该第一图像的内容参考信息小于或等于该内容分数阈值,则从该多帧图像中选取第二图像,该第二图像为该多帧图像中除该第一图像以外的质量参考信息最高的图像;

若该第二图像的内容参考信息大于该内容分数阈值,则将该第二图像确定为该视频的封面。

在一些实施例中,该确定模块403,用于:

若该多帧图像中不存在内容参考信息大于该内容分数阈值的图像,则将该第一图像确定为该视频的封面。

需要说明的是:上述实施例提供的封面确定装置在确定封面时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的封面确定装置与封面确定方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

本申请所提到的计算机设备可以提供为一种终端。图5示出了本申请一个示例性实施例提供的终端500的结构框图。该终端500可以是:智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常,终端500包括有:处理器501和存储器502。

处理器501可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器501可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器501还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。

存储器502可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器502中的非暂态的计算机可读存储介质用于存储至少一个程序代码,该至少一个程序代码用于被处理器501所执行以实现本申请中方法实施例提供的封面确定方法。

在一些实施例中,终端500还可选包括有:外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地,外围设备包括:射频电路504、显示屏505、摄像头组件506、音频电路507、定位组件508和电源509中的至少一种。

外围设备接口503可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中,处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上;在一些其他实施例中,处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

射频电路504用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路504包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路504还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。

显示屏505用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时,显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时,显示屏505还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏505可以为一个,设置在终端500的前面板;在另一些实施例中,显示屏505可以为至少两个,分别设置在终端500的不同表面或呈折叠设计;在另一些实施例中,显示屏505可以是柔性显示屏,设置在终端500的弯曲表面上或折叠面上。甚至,显示屏505还可以设置成非矩形的不规则图形,也即异形屏。显示屏505可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件506用于采集图像或视频。可选地,摄像头组件506包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。

音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器501进行处理,或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路507还可以包括耳机插孔。

定位组件508用于定位终端500的当前地理位置,以实现导航或LBS(LocationBased Service,基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源509用于为终端500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中,终端500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于:加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。

加速度传感器511可以检测以终端500建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号,控制显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器512可以检测终端500的机体方向及转动角度,陀螺仪传感器512可以与加速度传感器511协同采集用户对终端500的3D动作。处理器501根据陀螺仪传感器512采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器513可以设置在终端500的侧边框和/或显示屏505的下层。当压力传感器513设置在终端500的侧边框时,可以检测用户对终端500的握持信号,由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在显示屏505的下层时,由处理器501根据用户对显示屏505的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器514用于采集用户的指纹,由处理器501根据指纹传感器514采集到的指纹识别用户的身份,或者,由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器501授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置在终端500的正面、背面或侧面。当终端500上设置有物理按键或厂商Logo时,指纹传感器514可以与物理按键或厂商Logo集成在一起。

光学传感器515用于采集环境光强度。在一个实施例中,处理器501可以根据光学传感器515采集的环境光强度,控制显示屏505的显示亮度。具体地,当环境光强度较高时,调高显示屏505的显示亮度;当环境光强度较低时,调低显示屏505的显示亮度。在另一个实施例中,处理器501还可以根据光学传感器515采集的环境光强度,动态调整摄像头组件506的拍摄参数。

接近传感器516,也称距离传感器,通常设置在终端500的前面板。接近传感器516用于采集用户与终端500的正面之间的距离。在一个实施例中,当接近传感器516检测到用户与终端500的正面之间的距离逐渐变小时,由处理器501控制显示屏505从亮屏状态切换为息屏状态;当接近传感器516检测到用户与终端500的正面之间的距离逐渐变大时,由处理器501控制显示屏505从息屏状态切换为亮屏状态。

本领域技术人员可以理解,图5中示出的结构并不构成对终端500的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

本申请实施例提供的计算机设备可提供为一种服务器。图6是本申请实施例提供的一种服务器的结构示意图,该服务器600可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central Processing Units,CPU)601和一个或一个以上的存储器602,其中,该存储器602中存储有至少一条程序代码,该至少一条程序代码由该处理器601加载并执行以实现上述各个方法实施例提供的封面确定方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。

在示例性实施例中,还提供了一种计算机可读存储介质,例如包括程序代码的存储器,上述程序代码可由终端或服务器中的处理器执行以完成上述实施例中的封面确定方法。例如,该计算机可读存储介质可以是只读内存(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact-Disc Read-Only Memory)、磁带、软盘和光数据存储设备等。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来程序代码相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。

以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

完整详细技术资料下载
上一篇:石墨接头机器人自动装卡簧、装栓机
下一篇:视频搜索方法、装置及电子设备

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!