具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1，图1为本发明实施例提供的精彩片段提取方法的流程示意图；

如图1所示，该方法包括步骤S101～S104。

S101、读取视频数据并对视频数据进行预处理，得到多个候选子片段。

具体的，如图2所示，步骤S101包括：

S201、读取视频数据，获取视频数据中每一帧的图像颜色、图像纹理特征、图像质量、帧差值以及边缘变化率值；

该步骤中，通过读取视频数据，获取视频中每一帧的图像颜色、图像纹理特征、图像质量、帧差值以及边缘变化率值，需要说明的是，本实施例在读取视频数据的过程中，读取到一帧时即计算一帧的图像质量；读取到上一帧、当前帧和下一帧后，将上一帧与当前帧的帧差和当前帧与下一帧的帧差之和的平均数作为当前帧的帧差值；读取到连续的两帧时计算连续的两帧的边缘变化率值；相比原来的需要得到全部帧后再获取图像颜色、图像纹理特征、图像质量、帧差值以及边缘变化率值的方式，本实施例只需缓存三帧和两帧图像，可以减少资源占用，特别是对几小时的长视频，如果是采用原方法缓存所有帧会导致资源占用过高很大概率会程序卡死。需要注意的是，本实施例中获取的帧差值和边缘变化率值以图像数据格式保存。

S202、根据视频数据的帧长设置第一过滤比例，按第一过滤比例过滤图像质量低的帧；

该步骤中，根据图像质量对所有帧进行升序排序，以第一过滤比例将图像质量低的帧进行过滤删除，这里的第一过滤比例根据视频数据的帧数进行设置，比如小于30000帧的视频数据采用10％的过滤比例，大于30000帧的视频采用12％的过滤比例。

S203、设置第二过滤比例，按第二过滤比例过滤帧差值和边缘变化率值大的帧；

该步骤中，根据帧差值和边缘变化率对所有帧进行升序排序，以第二过滤比例过滤帧差值大和边缘变化率值大的帧，这里的第二过滤比例可采用10％。

S204、将图像颜色和图像纹理特征进行级联得到图像颜色纹理特征；

S205、对视频数据进行场景分割，对每个场景设置一个最长帧长和最短帧长以限定每个场景的片段时长，并输出候选子片段，其中一个场景输出一个或多个候选子片段；

该步骤中，因为一段视频内通常会有多个场景，需要先将每个场景分割出来，而对每个场景需要设置一个最长帧长和最短帧长以限定每个场景中的片段的时长，由此每个场景可分割出一个或多个候选子片段；具体的，可对不同时长的视频设置不同的最长帧长和最短帧长，举例来说，对于小于半小时的视频，分割时长可设置为5秒，对应的最短帧长就是5秒帧长，最长帧长是最短帧长的三倍；对大于半小时的视频，分割时长设置为10秒，对应的最短帧长就是10秒帧长，最长帧长是最短帧长的三倍。

S206、通过聚类处理提取候选子片段的精彩封面。

该步骤主要是用在精彩封面提取上，对于候选子片段，得到质量最佳的N个封面，需要选取最静态的帧，并且过滤掉相似的冗余帧，最终获取到多个质量佳的静态值比较高且不冗余的关键帧，并作为精彩封面。

S102、对多个候选子片段进行筛选、聚类以及背包策略处理，得到多个候选高光片段。

具体的，如图3所示，步骤S102包括：

S301、设置每一候选子片段的帧长阈值、帧差阈值和边缘变化率阈值；

该步骤中，计算每一候选子片段的帧差均值和帧差中值，取其中较小的值作为对应候选子片段的帧差阈值；计算每一候选子片段的边缘变化率均值和边缘变化率中值，取其中较小的值作为对应候选子片段的边缘变化率阈值。

S302、根据帧长阈值、帧差阈值和边缘变化率阈值从候选子片段筛选出候选高光片段；

该步骤中，基于上述得到的候选子片段，通过设置每一候选子片段的帧长阈值、帧差阈值和边缘变化率阈值，采用三层筛选实现有差别的筛选不同精彩程度的视频，目的就是在预设片段数的限制下尽可能筛选出比较精彩的片段，如果设置统一参数就会选中本身不够精彩的片段，从而导致后续进行背包策略处理时因为有限的容量空间而容纳了过多的不够精彩的片段，从而拉低整体片段精彩度。

具体的，第一层筛选：主要针对本身动态能量很丰富的视频的筛选，筛选出大于帧长阈值、帧差阈值和边缘变化率阈值的候选子片段，可得到大面积遮挡片段且本身精彩度比较强的片段；这里的大面积遮挡片段指的是视频里有可能出现大面积遮挡的片段，比如游戏类视频里的挑选武器、查看排名等情况时就会有很大一个属性页遮挡。若第一层筛选出的候选子片段超过预设片段数且低于2倍的预设片段数，则筛选结束；若筛选出的候选子片段超过2倍的预设片段数，则进入第二层筛选。

第二层筛选：在第一层筛选得到的候选子片段的基础上，再进行一次筛选，第二次筛选时只筛选大于帧长阈值和帧差阈值的候选子片段；而不使用边缘变化率阈值进行筛选，目的是因为偏静态的视频的边缘变化率值普遍偏低。若第二层筛选出的候选子片段仍超过2倍的预设片段数，则加大帧长阈值、帧差阈值继续进行筛选。

第三层筛选：主要对一些本身动态能量就不丰富的视频设定的，当第一层筛选出的候选子片段低于预设片段数时，通过循环迭代降低帧长阈值和帧差阈值，筛选出满足预设片段数的候选子片段。

进一步的，考虑比较极端的情况，若在达不到设定片段数的情况下通过合并临近片段以补足缺失的片段数。

S303、基于图像颜色纹理特征对候选高光片段进行聚类处理，并根据每一候选高光片段的帧差均值计算每一候选高光片段的分值；

该步骤中的聚类处理就是将相似的图像聚在一起成为一类，目的是保证候选子片段内的特征是相似的，并通过计算每一候选高光片段的帧差均值来对该候选高光片段进行打分并得到分值，帧差均值越大对应的分值越高。

S304、根据每一候选高光片段的分值和帧长进行背包策略处理，选出分值总和最高的候选高光片段。

背包策略是一种动态规划算法，即在有限容量空间下尽可能容纳更多分值最高的片段；假设背包总的承受重量为W，总的行李j件数为n，行李的重量列表为w，价值的列表为v；假设用dp(i，j)表示用前i个物体，总重需要不超过j千克，且价值最大的情况。则有以下情况：

1)若第i件行李的重量w[i]>j,则不考虑第i件行李，即dp(i,j)＝dp(i-1,j).

2)若第i件行李的重量w[i]<＝j,则有两种情况：一种不放入第i件行李，则dp(i，j)＝dp(i-1，j)；另一种情况，放入第i件行李，则dp(i，j)＝d(i-1，j-w[i])+v[i]；应该选取两者之间的最大值，即dp(i，j)＝max{dp(i-1，j)，dp(i-1,j-w[i])+v[i]}。

因此，在本步骤中，总的承受重量W就是预设帧长，重量w就是单个候选高光片段的帧长，价值V就是所有候选高光片段总的分值，价v就是单个候选高光片段的分值，在这里的应用就是在预设帧长的限制下容纳更精彩的片段，即在有限容量下选择分值总和最高的候选高光片段。

S103、基于一个视频数据提取一段固定时长的精彩片段合辑时，将候选高光片段进行排序并选出多个目标高光片段，根据预设帧长采用多退少补策略对选出的目标高光片段进行处理并输出精彩片段合辑。

具体的，如图4所示，步骤S103包括：

S401、根据选出的候选高光片段的分值进行升序排列，选取预设排名的多个候选高光片段作为目标高光片段；

该步骤中，根据选出的候选高光片段的分值进行升序排列，选取排名前5的候选高光片段作为目标高光片段。

S402、当所有目标高光片段的总帧长大于预设帧长时，基于每一目标高光片段的帧差均值和边缘变化率均值，对每一目标高光片段采用多退策略进行起始帧自加或结束帧自减，直至所有目标高光片段的总帧长达到预设帧长；

该步骤中，当所有目标高光片段的总帧长大于预设帧长时，需要进行多退策略处理；具体的，先基于目标高光片段的帧差值和边缘变化率值，计算目标高光片段的前后帧的帧差均值和边缘变化率均值，若当前帧的帧差均值和边缘变化率均值均小于下一帧的帧差均值和边缘变化率均值，则目标高光片段的起始帧自加，反之则目标高光片段的结束帧自减，这样即可减短目标高光片段的帧长，通过对这5个候选高光片段不断迭代计算，直至这5个目标高光片段的总帧长达到预设帧长。

S403、当所有目标高光片段的总帧长小于预设帧长时，基于每一目标高光片段的帧差均值和边缘变化率均值，对每一目标高光片段采用少补策略进行起始帧自减或结束帧自加，直至所有目标高光片段的总帧长达到预设帧长；

该步骤中，当所有目标高光片段的总帧长小于预设帧长时，则需要进行少补策略处理；具体的，先基于目标高光片段的帧差值和边缘变化率值，计算目标高光片段的前后帧的帧差均值和边缘变化率均值，若当前帧的帧差均值和边缘变化率均值均小于上一帧的帧差均值和边缘变化率均值，则目标高光片段的起始帧自减，反之则目标高光片段的结束帧自加，这样即可加长目标高光片段的帧长，通过对这5个候选高光片段不断迭代计算，直至这5个目标高光片段的总帧长达到预设帧长。

S404、将达到预设帧长的所有目标高光片段进行合并，输出精彩片段合辑。

S104、基于多个不定帧率的视频数据提取一段固定时长的精彩片段合辑时，将多个视频数据的候选高光片段进行分区、换算、去重以及排序，得到多个目标高光片段并输出精彩片段合辑。

在实际产品使用过程中，会遇到从多个不定帧率的视频提取一段固定时长的精彩片段合辑的情况，在算法上基于一个固定帧率得到一个固定时长的固定帧长的片段，而产品时间线上是以原视频时长为基准，也就是说时间线上有自己的插帧补帧策略，尽管时间线帧率和原视频帧不统一，但它会自动对视频做插帧补帧，所以最终提供的片段总时长是基于原视频的时长计算的。所以这就带来一个问题是，需要对每个片段单独计算时长，也就是需要将每个片段基于算法帧率得出的时长换算到原始视频上去。即如果该片段基于算法帧率30fps的时长是1s，而原视频视频是15fps，那就需要将其换算为15帧，而不是算法帧率的30帧。

因此，在本实施例中，就需要对候选高光片段进行进行分区、换算、去重以及排序，才能得到多个目标高光片段并输出精彩片段合辑。

在一实施例中，如图5所示，步骤S104包括：

S501、基于每个视频数据的帧长，对每一候选高光片段进行分区处理；

该步骤中，因为本方法将多个不定帧率的视频数据视为一个视频去处理，这样就会导致没分区前有些候选高光片段的起始帧和结束帧不是在同一个视频里，因此基于每个视频的帧长对每个候选高光片段进行分区处理，具体可通过判断候选高光片段的帧号去判断其应该在哪个视频里。

S502、判断分区处理后的每一候选高光片段的所属的视频数据，通过换算处理得到每一候选高光片段在其对应视频数据中同时长的片段；

该步骤中，遍历每一候选高光片段，判断候选高光片段所属的视频，并以候选高光片段的时长为基准计算该候选高光片段在对应视频中同时长的片段，因为候选高光片段的帧率和对应视频的帧率可能不同，所以会导致同时长的片段在视频里的起始帧和结束帧与选高光片段的起始帧和结束帧不同。

S503、将换算处理后的候选高光片段进行去重处理，再进行分区处理得到多个目标高光片段；

该步骤中，换算处理后的有些候选高光片段会有重叠的情况，需要将两两重叠的区间进行合并去重；然后再基于去重后的候选高光片段再进行分区并得到多个目标高光片段，这里再进行一次分区是因为去重过程中有可能会遇到跨区的问题。

具体的，以一实施进行说明去重和分区处理的过程：假设用户输入2个视频，一个视频是60fps的总帧长是600，一个视频是30fps的总帧长为150，方法采用统一帧率30fps，处理这两个视频后一共得到2个候选高光片段的总时长为10s，分别为[310,550]和[610,670]，则将候选高光片段换算到视频时长，则第一个候选高光片段为8s，第二个候选高光片段为2s，通过前后加减一半差值换算的视频帧率为：[190,670]和[610,670]，这是视频上的一个为8s和一个为2s的片段，但是明显可见其片段已经重叠，而且跨区。这就是多个视频一起处理时会经常遇到的问题。所以需要做分区和去重处理。通过分区将这两个候选高光片段重新分为[190,600]和[601,670]，此时总时长为9.16s，没有达到10s的固定时长，所以又需要重新按每个候选高光片段去加帧数进来以达到固定时长10s，在这里就是遍历每个候选高光片段补上0.834s时长的片段，这里遍历第一个候选高光片段则是需要补上0.834x60＝50帧，则最终的片段范围为[140,600]和[601,670]。将这两个候选高光片段除以各自的视频帧率得到总时长约为10s的高光片段。

S504、基于视频数据的帧率，计算目标高光片段的总时长；

S505、计算总时长与固定时长的时长差，根据时长差采用多退少补策略对目标高光片段进行处理并输出精彩片段合辑。

该步骤中，遍历每一目标高光片段，判断每一目标高光片段所属视频，基于视频帧率计算所有目标高光片段的总时长，如果总时长超过固定时长则进行多退策略处理，如果总时长达不到固定时长则进行少补策略处理，直至所有目标高光片段的总时长达到固定时长，再将所有目标高光片段进行合并处理并输出精彩片段合辑。

在一实施例中，如图6所示，步骤S404包括：

S601、当总时长大于固定时长时，计算总时长与固定时长的时长差，遍历每一目标高光片段并进行起始帧自加和结束帧自减；

S602、遍历循环一次所有目标高光片段后再计算一次时长差，直至总时长与固定时长一致；

S603、将总时长达到固定时长的目标高光片段进行升序排列，并输出精彩片段合辑。

本实施例中，当总时长大于固定时长时，需要对目标高光片段的帧数进行删减，具体可根据总时长与固定时长来计算并得到时长差，然后根据该时长差对目标高光片段进行起始帧自加和结束帧自减；通过遍历循环一次所有目标高光片段后再计算一次时长差，直至总时长与固定时长一致，则完成对目标高光片段的帧数的删减；此时将总时长达到固定时长的所有目标高光片段进行升序排列，并进行合并，从而输出精彩片段合辑。

在一实施例中，如图7所示，步骤S404还包括：

S701、当总时长小于固定时长时，计算总时长与固定时长的时长差，遍历每一目标高光片段并进行起始帧自减和结束帧自加；

S702、遍历循环一次所有目标高光片段后再计算一次时长差，直至总时长与固定时长一致；

S703、将总时长达到固定时长的目标高光片段进行升序排列，并输出精彩片段合辑。

本实施例中，当总时长小于固定时长时，需要对目标高光片段的帧数进行增加，具体可根据总时长与固定时长来计算并得到时长差，计算根据该时长差对目标高光片段进行起始帧自减和结束帧自加；通过遍历循环一次所有目标高光片段后再计算一次时长差，直至总时长与固定时长一致，则完成对目标高光片段的帧数的增加；此时将总时长达到固定时长的所有目标高光片段进行升序排列，并进行合并，从而输出精彩片段合辑。

本发明实施例还提供一种精彩片段提取装置，该精彩片段提取装置用于执行前述精彩片段提取方法的任一实施例。具体地，请参阅图8，图8是本发明实施例提供的精彩片段提取装置的示意性框图。

如图8所示，精彩片段提取装置800，包括：预处理单元801、获取单元802、第一提取单元803以及第二提取单元804。

预处理单元801，用于读取视频数据并对视频数据进行预处理，得到多个候选子片段；

获取单元802，用于对多个候选子片段进行筛选、聚类以及背包策略处理，得到多个候选高光片段；

第一提取单元803，用于基于一个视频数据提取一段固定时长的精彩片段合辑时，将候选高光片段进行排序并选出多个目标高光片段，根据预设帧长采用多退少补策略对选出的目标高光片段进行处理并输出精彩片段合辑；

第二提取单元804，用于基于多个不定帧率的视频数据提取一段固定时长的精彩片段合辑时，将多个视频数据的候选高光片段进行分区、换算、去重以及排序，得到多个目标高光片段并输出精彩片段合辑。

该装置通过对视频数据进行预处理得到的多个候选子片段，通过筛选、聚类以及背包策略处理，选取出的候选高光片段的总体精彩度更高，最后基于固定时长，从候选高光片段中选出目标高光片段，并对目标高光片段进行处理并输出精彩片段合辑；本装置有效的提取了视频数据中的精彩片段并生成固定时长的精彩片段合辑，具有提取效率高和效果好的优点。

在一实施例中，预处理单元801包括:

参数获取单元，用于读取视频数据，获取视频数据中每一帧的图像颜色、图像纹理特征、图像质量、帧差值以及边缘变化率值；

第一过滤单元，用于根据视频数据的帧长设置第一过滤比例，按第一过滤比例过滤图像质量低的帧；

第二过滤单元，用于设置第二过滤比例，按第二过滤比例过滤帧差值和边缘变化率值大的帧；

级联单元，用于将图像颜色和图像纹理特征进行级联得到图像颜色纹理特征；

分割单元，用于对视频数据进行场景分割，对每个场景设置一个最长帧长和最短帧长以限定每个场景的片段时长，并输出候选子片段，其中一个场景输出一个或多个候选子片段；

聚类处理单元，用于通过聚类处理提取候选子片段的精彩封面。

在一实施例中，获取单元802包括:

设置单元，用于设置每一候选子片段的帧长阈值、帧差阈值和边缘变化率阈值；

筛选单元，用于根据帧长阈值、帧差阈值和边缘变化率阈值从候选子片段筛选出候选高光片段；

分值计算单元，用于基于图像颜色纹理特征对候选高光片段进行聚类处理，并根据每一候选高光片段的帧差均值计算每一候选高光片段的分值；

背包策略处理单元，用于根据每一候选高光片段的分值和帧长进行背包策略处理，选出分值总和最高的候选高光片段。

在一实施例中，第一提取单元803包括:

排列单元，用于根据选出的候选高光片段的分值进行升序排列，选取预设排名的多个候选高光片段作为目标高光片段；

多退策略单元，用于当所有目标高光片段的总帧长大于预设帧长时，基于每一目标高光片段的帧差均值和边缘变化率均值，对每一目标高光片段采用多退策略进行起始帧自加或结束帧自减，直至所有目标高光片段的总帧长达到预设帧长；

少补策略单元，用于当所有目标高光片段的总帧长小于预设帧长时，基于每一目标高光片段的帧差均值和边缘变化率均值，对每一目标高光片段采用少补策略进行起始帧自减或结束帧自加，直至所有目标高光片段的总帧长达到预设帧长；

合并单元，用于将达到预设帧长的所有目标高光片段进行合并，输出精彩片段合辑。

在一实施例中，第二提取单元804包括:

分区单元，用于基于每个视频数据的帧长，对每一候选高光片段进行分区处理；

换算单元，用于判断分区处理后的每一候选高光片段的所属的视频数据，通过换算处理得到每一候选高光片段在其对应视频数据中同时长的片段；

去重单元，用于将换算处理后的候选高光片段进行去重处理，再进行分区处理得到多个目标高光片段；

时长计算单元，用于基于视频数据的帧率，计算目标高光片段的总时长；

输出单元，用于计算总时长与固定时长的时长差，根据时长差采用多退少补策略对目标高光片段进行处理并输出精彩片段合辑。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的精彩片段提取方法。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上的精彩片段提取方法。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以权利要求的保护范围为准。