一种视频搜索方法、系统、服务器和客户端
技术领域
本申请涉及视频搜索领域,尤其涉及一种视频搜索方法、系统、服务器和客户端。
背景技术
现在的短视频平台所发布的剧集剪辑越来越多,短视频的作者为了吸引流量,通常不会对外公布剧集的名称,如此一来,用户无法利用文字(即关键字,例如剧集的名称)搜索视频剪辑(即短视频)所属的原视频。
目前,现有技术公开了一种通过视频片段进行视频检索的方法,能够利用视频片段检索出剧集剪辑所属的原视频。但是,该方法利用了最大匹配算法和最优匹配算法,算法较为复杂、需消耗较长时间,致使视频搜索的效率降低。
发明内容
本申请提供了一种视频搜索方法、系统、服务器和客户端,目的在于提高视频搜索的效率。
为了实现上述目的,本申请提供了以下技术方案:
一种视频搜索方法,应用于服务器,包括:
在接收到客户端发送的短视频的情况下,对所述短视频的饰演人物进行人脸识别,得到所述短视频的人物标签;
从预存的各个长视频中,查找满足第一条件的长视频;所述第一条件为:所述长视频预先被标注的人物标签,涵盖所述短视频的人物标签;
对所述短视频的人物配音进行语音识别,得到所述短视频的语音标签;
从满足所述第一条件的长视频中,查找满足第二条件的长视频;所述第二条件为:所述长视频预先被标注的语音标签,涵盖所述短视频的语音标签;
从所述短视频的各帧画面中提取播放时长最长的画面,作为所述短视频的关键画面;
对所述关键画面进行目标检测,得到所述短视频的物体标签;
从满足所述第一条件和所述第二条件的长视频中,查找满足第三条件的长视频;所述第三条件为:所述长视频预先被标注的物体标签,涵盖所述短视频的物体标签;
将满足所述第一条件、所述第二条件和所述第三条件的长视频的播放地址,发送给所述客户端。
可选的,所述对所述短视频的饰演人物进行人脸识别,得到所述短视频的人物标签,包括:
对所述短视频的饰演人物进行人脸识别,得到所述饰演人物的身份、以及所述饰演人物的出场次数;
按照所述出场次数由多到少的顺序,对各个所述饰演人物进行排序,得到人物序列;
选取所述人物序列中前n位饰演人物,作为主要人物;n为正整数;
将所述主要人物的身份,标注为所述短视频的人物标签。
可选的,所述对所述短视频的人物配音进行语音识别,得到所述短视频的语音标签,包括:
对所述短视频的人物配音进行语音识别,得到所述饰演人物的声音特征和台词;
对所述声音特征和所述台词进行聚类分析,得到关键词语音;
将所述关键词语音,标注为所述短视频的语音标签。
可选的,所述对所述关键画面进行目标检测,得到所述短视频的物体标签,包括:
将所述关键画面输入至预设的目标检测模型中,得到所述目标检测模型输出的物体特征;所述物体特征包括物体的类型;
将所述物体的类型,标注为所述短视频的物体标签。
可选的,所述将满足所述第一条件、所述第二条件和所述第三条件的长视频的播放地址,发送给所述客户端之前,还包括:
对所述短视频进行内容识别,得到所述短视频的内容风格;
从满足所述第一条件、所述第二条件和所述第三条件的长视频中,查找满足第四条件的长视频;所述第四条件为:所述长视频预先被标注的内容风格,与所述短视频的内容风格相同;
所述将满足所述第一条件、所述第二条件和所述第三条件的长视频的播放地址,发送给所述客户端,包括:
将满足所述第一条件、所述第二条件、所述第三条件和所述第四条件的长视频的播放地址,发送给所述客户端。
一种视频搜索方法,应用于客户端,包括:
在接收到用户的搜索请求的情况下,将所述搜索请求所指示的短视频上传给服务器;所述服务器用于查找所述短视频所属长视频的播放地址;
在接收到所述服务器发送的所述播放地址的情况下,通过预设界面向所述用户展示所述播放地址。
一种服务器,包括:
人脸识别单元,用于在接收到客户端发送的短视频的情况下,对所述短视频的饰演人物进行人脸识别,得到所述短视频的人物标签;
第一查找单元,用于从预存的各个长视频中,查找满足第一条件的长视频;所述第一条件为:所述长视频预先被标注的人物标签,涵盖所述短视频的人物标签;
语音识别单元,用于对所述短视频的人物配音进行语音识别,得到所述短视频的语音标签;
第二查找单元,用于从满足所述第一条件的长视频中,查找满足第二条件的长视频;所述第二条件为:所述长视频预先被标注的语音标签,涵盖所述短视频的语音标签;
画面提取单元,用于从所述短视频的各帧画面中提取播放时长最长的画面,作为所述短视频的关键画面;
目标检测单元,用于对所述关键画面进行目标检测,得到所述短视频的物体标签;
第三查找单元,用于从满足所述第一条件和所述第二条件的长视频中,查找满足第三条件的长视频;所述第三条件为:所述长视频预先被标注的物体标签,涵盖所述短视频的物体标签;
发送单元,用于将满足所述第一条件、所述第二条件和所述第三条件的长视频的播放地址,发送给所述客户端。
可选的,还包括:
内容识别单元,用于对所述短视频进行内容识别,得到所述短视频的内容风格;
第四查找单元,用于从满足所述第一条件、所述第二条件和所述第三条件的长视频中,查找满足第四条件的长视频;所述第四条件为:所述长视频预先被标注的内容风格,与所述短视频的内容风格相同;
所述发送单元,还用于将满足所述第一条件、所述第二条件、所述第三条件和所述第四条件的长视频的播放地址,发送给所述客户端。
一种客户端,包括:
上传单元,用于在接收到用户的搜索请求的情况下,将所述搜索请求所指示的短视频上传给服务器;所述服务器用于查找所述短视频所属长视频的播放地址;
展示单元,用于在接收到所述服务器发送的所述播放地址的情况下,通过预设界面向所述用户展示所述播放地址。
一种视频搜索系统,包括:
服务器和客户端;
所述客户端,用于在接收到用户的搜索请求的情况下,将所述搜索请求所指示的短视频上传给所述服务器;
所述服务器,用于:
对所述短视频的饰演人物进行人脸识别,得到所述短视频的人物标签;
从预存的各个长视频中,查找满足第一条件的长视频;所述第一条件为:所述长视频预先被标注的人物标签,涵盖所述短视频的人物标签;
对所述短视频的人物配音进行语音识别,得到所述短视频的语音标签;
从满足所述第一条件的长视频中,查找满足第二条件的长视频;所述第二条件为:所述长视频预先被标注的语音标签,涵盖所述短视频的语音标签;
从所述短视频的各帧画面中提取播放时长最长的画面,作为所述短视频的关键画面;
对所述关键画面进行目标检测,得到所述短视频的物体标签;
从满足所述第一条件和所述第二条件的长视频中,查找满足第三条件的长视频;所述第三条件为:所述长视频预先被标注的物体标签,涵盖所述短视频的物体标签;
将满足所述第一条件、所述第二条件和所述第三条件的长视频的播放地址,发送给所述客户端;
所述客户端,还用于通过预设界面向所述用户展示所述播放地址。
本申请提供的技术方案,在接收到客户端发送的短视频的情况下,对短视频的饰演人物进行人脸识别,得到短视频的人物标签。从预存的各个长视频中,查找满足第一条件的长视频。第一条件为:长视频预先被标注的人物标签,涵盖短视频的人物标签。对短视频的人物配音进行语音识别,得到短视频的语音标签。从满足第一条件的长视频中,查找满足第二条件的长视频。第二条件为:长视频预先被标注的语音标签,涵盖短视频的语音标签。从短视频的各帧画面中提取播放时长最长的画面,作为短视频的关键画面。对关键画面进行目标检测,得到短视频的物体标签。从满足第一条件和第二条件的长视频中,查找满足第三条件的长视频。第三条件为:长视频预先被标注的物体标签,涵盖短视频的物体标签。将满足第一条件、第二条件和第三条件的长视频的播放地址,发送给客户端。相较于现有技术,人脸识别、语音识别、以及目标检测等一系列操作,算法难度较低、且算法的计算效率较高,可见,利用本申请所述方案,能够有效提高视频搜索的效率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1a为本申请实施例提供的一种视频搜索系统的架构示意图;
图1b为本申请实施例提供的一种视频搜索方法的示意图;
图1c为本申请实施例提供的又一种视频搜索方法的示意图;
图1d为本申请实施例提供的又一种视频搜索方法的示意图;
图2为本申请实施例提供的另一种视频搜索方法的示意图;
图3为本申请实施例提供的一种服务器的架构示意图;
图4为本申请实施例提供的另一种视频搜索方法的示意图;
图5为本申请实施例提供的一种客户端的架构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
如图1a所示,为本申请实施例提供的一种视频搜索系统的架构示意图,包括:
服务器100和客户端200。
其中,服务器和客户端之间的交互过程,如图1b、图1c和图1d所示,包括如下步骤:
S101:在接收到用户的搜索请求的情况下,将搜索请求所指示的短视频发送给服务器。
其中,短视频包括剧集视频的视频剪辑。
S102:服务器对短视频的饰演人物进行人脸识别,得到饰演人物的身份、以及饰演人物的出场次数。
其中,饰演人物的身份包括演员的真实姓名。
S103:服务器按照出场次数由多到少的顺序,对饰演人物进行排序,得到人物序列。
S104:服务器选取人物序列中前n位饰演人物,作为主要人物。
其中,n为正整数。
S105:服务器将主要人物的身份,标注为短视频的人物标签。
S106:服务器从数据库中获取涵盖短视频的人物标签的长视频,并将获取到的长视频存储至数据表中。
其中,长视频包括未被剪辑的剧集视频。数据表用于记录长视频的预设编号、以及播放地址。
需要说明的是,长视频的人物标签可由人工预先标注,或者经由上述S102-S104所述流程实现人物标签的标注。
S107:服务器对短视频的人物配音进行语音识别,得到饰演人物的声音特征和台词。
其中,声音特征包括但不限于为音调、响度、以及音色。
S108:服务器对饰演人物的声音特征和台词进行聚类分析,得到关键词语音。
S109:服务器将关键词语音,标注为短视频的语音标签。
S110:服务器针对数据表中的每个长视频,判断长视频的语音标签是否涵盖短视频的语音标签。
若长视频的语音标签涵盖短视频的语音标签,则执行S111,否则执行S112。
其中,长视频的语音标签可由人工预先标注,或者经由上述S107-S109所述流程实现语音标签的标注。
S111:服务器对短视频进行内容识别,得到短视频的内容风格。
在执行S111之后,继续执行S113。
S112:服务器将长视频从数据表中剔除。
S113:服务器针对数据表中的每个长视频,判断长视频的内容风格是否与短视频的内容风格相同。
若长视频的内容风格与短视频的内容风格相同,则执行S114,否则执行S115。
其中,长视频的内容风格可由人工预先标注,或者经由上述S111所述流程实现内容风格的标注。
S114:服务器识别短视频中各帧画面的播放时长。
在执行S114之后,继续执行S116。
S115:服务器将长视频从数据表中剔除。
S116:服务器从各帧画面中选取播放时长最长的画面,作为短视频的关键画面。
S117:服务器将关键画面输入至预设的目标检测模型中,得到目标检测模型输出的物体特征。
其中,物体特征包括物体的类型,例如,关键画面中包含有酒,酒的类型的为“红酒”,则目标检测模型输出的物体特征为“红酒”。
需要说明的是,目标检测模型为本领域技术人员所熟悉的公知常识,这里不再赘述。
S118:服务器将物体的类型,标注为短视频的物体标签。
S119:服务器针对数据表中的每个长视频,判断长视频的物体标签是否涵盖短视频的物体标签。
若长视频的物体标签涵盖短视频的物体标签,则执行S120,否则执行S121。
其中,长视频的物体标签可由人工预先标注,或者经由上述S116-S117所述流程实现物体标签的标注。
S120:服务器将长视频的播放地址发送给客户端。
S121:服务器将长视频从数据表中剔除。
S122:客户端通过预设界面向用户展示长视频的播放地址。
综上所述,用户通过客户端将短视频上传至服务器,由服务器对短视频进行人脸识别、语音识别、以及目标检测等一系列操作,得到短视频的标签(即人物标签、语音标签和物体标签),将短视频的标签与长视频的标签进行匹配,从而确定短视频所属的剧情视频(即标签涵盖短视频的标签的长视频)。相较于现有技术,人脸识别、语音识别、以及目标检测等一系列操作,算法难度较低、且算法的计算效率较高,可见,利用本实施例所述方案,能够有效提高视频搜索的效率。此外,通过人物标签、语音标签和物体标签的匹配,其实质是以视频的主要人物、关键词语音、以及关键画面的物体特征作为,判断长视频是否为短视频的剧集视频的参考依据,具有较高的客观性,能够有效提高视频搜索结果的准确性。
如图2所示,为本申请实施例提供的一种视频搜索方法的示意图,应用于服务器,包括如下步骤:
S201:在接收到客户端发送的短视频的情况下,对短视频的饰演人物进行人脸识别,得到短视频的人物标签。
S202:从预存的各个长视频中,查找满足第一条件的长视频。
其中,第一条件为:长视频预先被标注的人物标签,涵盖短视频的人物标签。
S203:对短视频的人物配音进行语音识别,得到短视频的语音标签。
S204:从满足第一条件的长视频中,查找满足第二条件的长视频。
其中,第二条件为:长视频预先被标注的语音标签,涵盖短视频的语音标签。
S205:从短视频的各帧画面中提取播放时长最长的画面,作为短视频的关键画面。
S206:对关键画面进行目标检测,得到短视频的物体标签。
S207:从满足第一条件和第二条件的长视频中,查找满足第三条件的长视频。
其中,第三条件为:长视频预先被标注的物体标签,涵盖短视频的物体标签。
可选的,还可以对短视频进行内容识别,得到短视频的内容风格;并从满足第一条件、第二条件和第三条件的长视频中,查找满足第四条件的长视频;第四条件为:长视频预先被标注的内容风格,与短视频的内容风格相同。
S208:将满足第一条件、第二条件和第三条件的长视频的播放地址,发送给客户端。
可选的,还可以将满足第一条件、第二条件、第三条件和第四条件的长视频的播放地址,发送给客户端。
综上所述,相较于现有技术,人脸识别、语音识别、以及目标检测等一系列操作,算法难度较低、且算法的计算效率较高,可见,利用本实施例所述方案,能够有效提高视频搜索的效率。此外,通过人物标签、语音标签和物体标签的匹配,其实质是以视频的主要人物、关键词语音、以及关键画面的物体特征作为,判断长视频是否为短视频的剧集视频的参考依据,具有较高的客观性,能够有效提高视频搜索结果的准确性。
与上述本申请实施例提供的视频搜索方法相对应,本申请实施例还对应提供了一种服务器。
如图3所示,为本申请实施例提供的一种服务器的架构示意图,包括:
人脸识别单元301,用于在接收到客户端发送的短视频的情况下,对短视频的饰演人物进行人脸识别,得到短视频的人物标签。
其中,人脸识别单元301具体用于:对短视频的饰演人物进行人脸识别,得到饰演人物的身份、以及饰演人物的出场次数;按照出场次数由多到少的顺序,对各个饰演人物进行排序,得到人物序列;选取人物序列中前n位饰演人物,作为主要人物;n为正整数;将主要人物的身份,标注为短视频的人物标签。
第一查找单元302,用于从预存的各个长视频中,查找满足第一条件的长视频。第一条件为:长视频预先被标注的人物标签,涵盖短视频的人物标签。
语音识别单元303,用于对短视频的人物配音进行语音识别,得到短视频的语音标签。
其中,语音识别单元303具体用于:对短视频的人物配音进行语音识别,得到饰演人物的声音特征和台词;对声音特征和台词进行聚类分析,得到关键词语音;将关键词语音,标注为短视频的语音标签。
第二查找单元304,用于从满足第一条件的长视频中,查找满足第二条件的长视频。第二条件为:长视频预先被标注的语音标签,涵盖短视频的语音标签。
画面提取单元305,用于从短视频的各帧画面中提取播放时长最长的画面,作为短视频的关键画面。
目标检测单元306,用于对关键画面进行目标检测,得到短视频的物体标签。
其中,目标检测单元306具体用于:将关键画面输入至预设的目标检测模型中,得到目标检测模型输出的物体特征;物体特征包括物体的类型;将物体的类型,标注为短视频的物体标签。
第三查找单元307,用于从满足第一条件和第二条件的长视频中,查找满足第三条件的长视频。第三条件为:长视频预先被标注的物体标签,涵盖短视频的物体标签。
内容识别单元308,用于对短视频进行内容识别,得到短视频的内容风格。
第四查找单元309,用于从满足第一条件、第二条件和第三条件的长视频中,查找满足第四条件的长视频;第四条件为:长视频预先被标注的内容风格,与短视频的内容风格相同。
发送单元310,用于将满足第一条件、第二条件和第三条件的长视频的播放地址,发送给客户端。
其中,发送单元310还用于:将满足第一条件、第二条件、第三条件和第四条件的长视频的播放地址,发送给客户端。
综上所述,相较于现有技术,人脸识别、语音识别、以及目标检测等一系列操作,算法难度较低、且算法的计算效率较高,可见,利用本实施例所述方案,能够有效提高视频搜索的效率。此外,通过人物标签、语音标签和物体标签的匹配,其实质是以视频的主要人物、关键词语音、以及关键画面的物体特征作为,判断长视频是否为短视频的剧集视频的参考依据,具有较高的客观性,能够有效提高视频搜索结果的准确性。
此外,如图4所示,为本申请实施例提供的另一种视频搜索方法的示意图,应用于客户端,包括如下步骤:
S401:在接收到用户的搜索请求的情况下,将搜索请求所指示的短视频上传给服务器。
其中,服务器用于查找短视频所属长视频的播放地址。
S402:在接收到服务器发送的播放地址的情况下,通过预设界面向用户展示播放地址。
综上所述,用户通过客户端将短视频上传至服务器,由服务器查找短视频所属长视频的播放地址,在接收到服务器反馈的播放地址后,通过预设界面向用户展示播放地址,客户端不承担视频搜索工作,由计算能力更强的服务器承当,使得视频搜索的效率显著提高。
与上述本申请实施例提供的视频搜索方法相对应,本申请实施例还提供了一种客户端。
如图5所示,为本申请实施例提供的一种客户端的架构示意图,包括:
上传单元501,用于在接收到用户的搜索请求的情况下,将搜索请求所指示的短视频上传给服务器;服务器用于查找短视频所属长视频的播放地址。
展示单元502,用于在接收到服务器发送的播放地址的情况下,通过预设界面向用户展示播放地址。
综上所述,用户通过客户端将短视频上传至服务器,由服务器查找短视频所属长视频的播放地址,在接收到服务器反馈的播放地址后,通过预设界面向用户展示播放地址,客户端不承担视频搜索工作,由计算能力更强的服务器承当,使得视频搜索的效率显著提高。
本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算设备可读取存储介质中。基于这样的理解,本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算设备(可以是个人计算机,服务器,移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。