命名实体的识别方法及装置

文档序号:8285 发布日期:2021-09-17 浏览:35次 英文

命名实体的识别方法及装置

技术领域

本发明涉及计算机

技术领域

,特别是涉及一种命名实体的识别方法及装置。

背景技术

在现实生活中,对于同一命名实体可能会采用不同的表达方式,例如对于一种缓解眼睛疲劳的眼药水,有的医生会在医疗本上写玻璃酸钠滴眼液,有的医生可能直接使用产品牌子隐含表示是某款的玻璃酸钠滴眼液,由于玻璃酸钠滴眼液属于一种人工泪液,所以有的医生可能会写人工泪液。由此给命名实体的识别带来了困难,归一化处理成为了解决该问题的关键。目前对命名实体进行归一化处理的方法主要是:将待识别文本中的实体名称与实体知识库中的实体名称一一进行匹配,计算两者实体名称的相似度,并将待识别文本中的实体名称归类到相似度最大的实体知识库中的实体名称。但是有时候两个实体名称虽然相似度较大,只有一个字不同,但是其可能属于两个不同的实体,例如青霉素和红霉素是两个不同的药品。因此,现有技术这种仅将实体名称中的字本身进行匹配来实现命名实体归一化处理的方式准确率较低。

发明内容

有鉴于此,本发明提供的命名实体的识别方法及装置,其目的在于解决现有技术中对命名实体进行归类的准确率较低的问题。

第一方面,本发明提供了一种命名实体的识别方法,所述方法包括:

通过将待识别命名实体与实体知识库中的经验命名实体进行名称匹配,获得所述待识别命名实体与所述经验命名实体的相似度,并基于所述相似度获取N个候选经验命名实体;所述经验命名实体包括从历史文本中获取到的归类于标准命名实体的命名实体;N为正整数;

获取候选经验命名实体的特定特征;所述特定特征包括所述候选经验命名实体与所述待识别命名实体的相似度和所述候选经验命名实体与其他命名实体的预设关联性特征;

基于所述特定特征,重新计算所述候选经验命名实体与所述待识别命名实体的相似度,获得与所述待识别命名实体相似度满足预设条件的候选经验命名实体,并将所述待识别命名实体归类于所述满足预设条件的候选经验命名实体对应的标准命名实体。

可选的,所述预设关联性特征包括以下至少一项或几项的组合:

所述候选经验命名实体所对应的标准命名实体的名称与所述待识别命名实体的名称是否完全相同;

所述候选经验命名实体对应的标准命名实体的名称,在对应的经验命名实体中出现的次数比例;

所述候选经验命名实体的语义类型与所述待识别命名实体的语义类型的相似度。

可选的,如果所述预设关联性特征包括所述候选经验命名实体对应的标准命名实体的名称,在对应的经验命名实体中出现的次数比例,则获取候选经验命名实体的特定特征包括:

从所述实体知识库中查找所述候选经验命名实体对应的标准命名实体的名称,在对应的经验命名实体中出现的次数比例;

或者,获取所述候选经验命名实体对应的标准命名实体的名称,并统计获取的标准命名实体对应的经验命名实体的个数,以及与所述获取的标准命名实体的名称相同的经验命名实体的个数,并基于统计出的个数,计算所述获取的标准命名实体的名称,在对应的经验命名实体中出现的次数比例。

可选的,如果所述预设关联性特征包括所述候选经验命名实体的语义类型与所述待识别命名实体的语义类型的相似度,则获取候选经验命名实体的特定特征包括:

获取记录有所述待识别命名实体的待识别文本;

结合所述待识别文本,确定所述待识别命名实体的语义类型;

从所述实体知识库中获取所述候选经验命名实体的语义类型;

计算所述候选经验命名实体的语义类型与所述待识别命名实体的语义类型的相似度。

可选的,重新计算所述候选经验命名实体与所述待识别命名实体的相似度包括:

为所述特定特征分配预设的权重;

基于分配的权重进行加权计算,获得重新计算的所述候选经验命名实体与所述待识别命名实体的相似度。

可选的,重新计算所述候选经验命名实体与所述待识别命名实体的相似度包括:

将所述特定特征输入到预设识别模型中,重新计算的所述候选经验命名实体与所述待识别命名实体的相似度。

可选的,所述方法还包括:

获取基于历史文本中命名实体与所述实体知识库中经验命名实体的相似度确定的N名候选经验命名实体以及所述候选经验命名实体的特定特征;

对添加标签后的候选经验命名实体的特定特征进行模型训练,获得所述预设识别模型;所述标签用于指示所述历史文本中命名实体所归属的标准命名实体。

可选的,所述方法还包括:

根据所述待识别命名实体与相对应的标准命名实体,对所述预设识别模型进行更新。

可选的,所述预设识别模型包括线性回归模型;

所述线性回归模型的优化目标是最小化‖Xw-Y‖;

其中,X是特定特征,Y是0或1,w是特定特征的权重。

第二方面,本发明提供一种命名实体的识别方法,所述方法包括:

获取待识别医疗文本中的待识别医疗命名实体;

通过将所述待识别医疗命名实体与医疗实体知识库中的经验医疗命名实体进行名称匹配,获得所述待识别医疗命名实体与所述经验医疗命名实体的相似度,并基于所述相似度获取N个候选经验医疗命名实体;所述经验医疗命名实体包括从历史医疗文本中获取到的归类于标准医疗命名实体的命名实体;N为正整数;

获取候选经验医疗命名实体的特定特征;所述特定特征包括所述候选经验医疗命名实体与所述待识别医疗命名实体的相似度和所述候选经验医疗命名实体与其他命名实体的预设关联性特征;

基于所述特定特征,重新计算所述候选经验医疗命名实体与所述待识别医疗命名实体的相似度,获得与所述待识别医疗命名实体相似度满足预设条件的候选经验医疗命名实体,并将所述待识别医疗命名实体归类于所述满足预设条件的候选经验医疗命名实体对应的标准医疗命名实体。

第三方面,本发明提供一种命名实体的识别方法,所述方法包括:

采集待识别文本,并从所述待识别文本中获取待识别命名实体;

通过将所述待识别命名实体与实体知识库中的经验命名实体进行名称匹配,获得所述待识别命名实体与所述经验命名实体的相似度,并基于所述相似度获取N个候选经验命名实体;所述经验命名实体包括从历史文本中获取到的归类于标准命名实体的命名实体;N为正整数;

获取候选经验命名实体的特定特征;所述特定特征包括所述候选经验命名实体与所述待识别命名实体的相似度和所述候选经验命名实体与其他命名实体的预设关联性特征;

基于所述特定特征,重新计算所述候选经验命名实体与所述待识别命名实体的相似度,获得与所述待识别命名实体相似度满足预设条件的候选经验命名实体,并将所述待识别命名实体归类于所述满足预设条件的候选经验命名实体对应的标准命名实体;

根据归类结果,输出所述待识别命名实体与标准命名实体的对应关系。

第四方面,本发明提供一种命名实体的识别装置,所述装置包括:

名称匹配单元,用于通过将待识别命名实体与实体知识库中的经验命名实体进行名称匹配,获得所述待识别命名实体与所述经验命名实体的相似度;

第一获取单元,用于基于所述相似度获取N个候选经验命名实体;所述经验命名实体包括从历史文本中获取到的归类于标准命名实体的命名实体;N为正整数;

第二获取单元,用于获取候选经验命名实体的特定特征;所述特定特征包括所述候选经验命名实体与所述待识别命名实体的相似度和所述候选经验命名实体与其他命名实体的预设关联性特征;

计算单元,用于基于所述特定特征,重新计算所述候选经验命名实体与所述待识别命名实体的相似度,获得与所述待识别命名实体相似度满足预设条件的候选经验命名实体;

归类单元,用于将所述待识别命名实体归类于所述满足预设条件的候选经验命名实体对应的标准命名实体。

可选的,所述第二获取单元获取的所述预设关联性特征包括以下至少一项或几项的组合:

所述候选经验命名实体所对应的标准命名实体的名称与所述待识别命名实体的名称是否完全相同;

所述候选经验命名实体对应的标准命名实体的名称,在对应的经验命名实体中出现的次数比例;

所述候选经验命名实体的语义类型与所述待识别命名实体的语义类型的相似度。

可选的,所述第二获取单元,用于如果所述预设关联性特征包括所述候选经验命名实体对应的标准命名实体的名称,在对应的经验命名实体中出现的次数比例,从所述实体知识库中查找所述候选经验命名实体对应的标准命名实体的名称,在对应的经验命名实体中出现的次数比例;或者,获取所述候选经验命名实体对应的标准命名实体的名称,并统计获取的标准命名实体对应的经验命名实体的个数,以及与所述获取的标准命名实体的名称相同的经验命名实体的个数,并基于统计出的个数,计算所述获取的标准命名实体的名称,在对应的经验命名实体中出现的次数比例。

可选的,所述第二获取单元,用于如果所述预设关联性特征包括所述候选经验命名实体的语义类型与所述待识别命名实体的语义类型的相似度,则获取记录有所述待识别命名实体的待识别文本;结合所述待识别文本,确定所述待识别命名实体的语义类型;从所述实体知识库中获取所述候选经验命名实体的语义类型;计算所述候选经验命名实体的语义类型与所述待识别命名实体的语义类型的相似度。

可选的,所述计算单元包括:

分配模块,用于为所述特定特征分配预设的权重;

第一计算模块,用于基于分配的权重进行加权计算,获得重新计算的所述候选经验命名实体与所述待识别命名实体的相似度。

可选的,所述计算单元包括:

第二计算模块,用于将所述特定特征输入到预设识别模型中,重新计算的所述候选经验命名实体与所述待识别命名实体的相似度。

可选的,所述装置还包括:

第三获取单元,用于获取基于历史文本中命名实体与所述实体知识库中经验命名实体的相似度确定的N名候选经验命名实体以及所述候选经验命名实体的特定特征;

训练单元,用于对添加标签后的候选经验命名实体的特定特征进行模型训练,获得所述预设识别模型;所述标签用于指示所述历史文本中命名实体所归属的标准命名实体。

可选的,所述装置还包括:

更新单元,用于根据所述待识别命名实体与相对应的标准命名实体,对所述预设识别模型进行更新。

可选的,所述第二计算模块使用的所述预设识别模型包括线性回归模型;

所述线性回归模型的优化目标是最小化‖Xw-Y‖;

其中,X是特定特征,Y是0或1,w是特定特征的权重。

第五方面,本发明提供了一种命名实体的识别装置,所述装置包括:

第一获取单元,用于获取待识别医疗文本中的待识别医疗命名实体;

名称匹配单元,用于通过将所述待识别医疗命名实体与医疗实体知识库中的经验医疗命名实体进行名称匹配,获得所述待识别医疗命名实体与所述经验医疗命名实体的相似度;

第二获取单元,用于基于所述相似度获取N个候选经验医疗命名实体;所述经验医疗命名实体包括从历史医疗文本中获取到的归类于标准医疗命名实体的命名实体;N为正整数;

第三获取单元,用于获取候选经验医疗命名实体的特定特征;所述特定特征包括所述候选经验医疗命名实体与所述待识别医疗命名实体的相似度和所述候选经验医疗命名实体与其他命名实体的预设关联性特征;

计算单元,用于基于所述特定特征,重新计算所述候选经验医疗命名实体与所述待识别医疗命名实体的相似度,获得与所述待识别医疗命名实体相似度满足预设条件的候选经验医疗命名实体;

归类单元,用于将所述待识别医疗命名实体归类于所述满足预设条件的候选经验医疗命名实体对应的标准医疗命名实体。

第六方面,本发明提供了一种命名实体的识别装置,所述装置包括:

采集单元,用于采集待识别文本;

第一获取单元,用于从所述待识别文本中获取待识别命名实体;

名称匹配单元,用于通过将所述待识别命名实体与实体知识库中的经验命名实体进行名称匹配,获得所述待识别命名实体与所述经验命名实体的相似度;

第二获取单元,用于基于所述相似度获取N个候选经验命名实体;所述经验命名实体包括从历史文本中获取到的归类于标准命名实体的命名实体;N为正整数;

第三获取单元,用于获取候选经验命名实体的特定特征;所述特定特征包括所述候选经验命名实体与所述待识别命名实体的相似度和所述候选经验命名实体与其他命名实体的预设关联性特征;

计算单元,用于基于所述特定特征,重新计算所述候选经验命名实体与所述待识别命名实体的相似度,获得与所述待识别命名实体相似度满足预设条件的候选经验命名实体;

归类单元,用于将所述待识别命名实体归类于所述满足预设条件的候选经验命名实体对应的标准命名实体;

输出单元,用于根据归类结果,输出所述待识别命名实体与标准命名实体的对应关系。

第七方面,本发明提供了一种存储介质,所述存储介质存储有多条指令,所述指令适用于由处理器加载并执行如第一至三中任意方面所述的命名实体的识别方法。

第八方面,本发明提供了一种电子设备,所述电子设备包括存储介质和处理器;

所述处理器,适于实现各指令;

所述存储介质,适于存储多条指令;

所述指令适于由所述处理器加载并执行如第一至三中任意方面所述的命名实体的识别方法。

借由上述技术方案,本发明提供的命名实体的识别方法及装置,能够先将待识别命名实体与实体知识库中的经验命名实体进行名称匹配,从所有经验命名实体中筛选出N个候选经验命名实体,从而从名称本身维度实现对命名实体的粗略识别,再结合这N个候选经验命名实体的其他特征,从这N个候选经验命名实体中确定出与待识别命名实体最匹配的一个候选经验命名实体,并将待识别命名实体归类于最后选取的候选经验命名实体对应的标准命名实体,从而从非名称本身维度实现对命名实体的详细识别。也就是说,与现有技术仅从名称本身维度识别命名实体相比,本发明能够从名称本身维度和非名称本身维度综合识别命名实体,进而提高了命名实体归类的准确性。

上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的

具体实施方式

附图说明

通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:

图1示出了本发明实施例提供的一种命名实体的识别方法的流程图;

图2示出了本发明实施例提供的另一种命名实体的识别方法的流程图;

图3示出了本发明实施例提供的又一种命名实体的识别方法的流程图;

图4示出了本发明实施例提供的一种注释命名实体的示例图;

图5示出了本发明实施例提供的另一种注释命名实体的示例图;

图6示出了本发明实施例提供的一种命名实体的识别装置的组成框图;

图7示出了本发明实施例提供的另一种命名实体的识别装置的组成框图;

图8示出了本发明实施例提供的又一种命名实体的识别装置的组成框图;

图9示出了本发明实施例提供的再一种命名实体的识别装置的组成框图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供了一种命名实体的识别方法,如图1所示,所述方法包括:

101、通过将待识别命名实体与实体知识库中的经验命名实体进行名称匹配,获得所述待识别命名实体与所述经验命名实体的相似度,并基于所述相似度获取N个候选经验命名实体。

其中,所谓的命名实体就是人名、机构名、地名、产品名、疾病名以及其他所有以名称为标识的实体。更广泛的实体还包括数字、日期、货币、地址等等。实体知识库中包括标准命名实体和归类于所述标准命名实体的经验命名实体。所述经验命名实体包括从历史文本中获取到的归类于所述标准命名实体的命名实体,即经验积累的一些命名实体;标准命名实体是所属领域官方公布的正规命名实体。

示例性的,标准命名实体为“北京大学法学院”,该标准命名实体对应的一个经验命名实体为“北京大学法院”,待识别文本中待识别命名实体为“北大法院”。

在识别待识别文本中待识别命名实体所属的标准命名实体时,可以先将待识别命名实体与实体知识库中的经验命名实体进行名称匹配,计算一下两个实体名称本身的相似度,根据相似度从大量经验命名实体中确定出N名经验命名实体,再利用下述步骤的重排算法对这N名经验命名实体重新进行排序,确定出最终排满足预设条件的经验命名实体为与待识别命名实体最相近的经验命名实体。由于一般情况下,名称相似度越高,两个命名实体越接近,所以根据相似度从大量经验命名实体中确定出N名经验命名实体时,可以从大量经验命名实体中确定出相似度位于前N名的经验命名实体。其中,N为正整数,可以根据经验确定合理的数值,所谓合理的数值是在保证二次排序质量的情况下,尽量选取较小的N,例如可以为100。

实体知识库中除了包含命名实体的名称外,还包括命名实体的其他特征,例如标准命名实体的名称在对应的经验命名实体中出现的次数比例、命名实体的语义类型。语义类型包括厂家名、品牌名、产品规格等用于辅助描述命名实体的特性。在进行名称匹配前,可以先建立实体知识库的查询索引,以便利用查询索引快速从存储大量其他特征信息的实体知识库中查找到命名实体的名称。

在计算两个实体名称相似度时,可以采用一元组匹配、二元组匹配、三元组匹配和最长公共字符串匹配等方式实现两个名词的匹配,并且在匹配时可以使用以下特征来计算相似度:N-Gram匹配、字符上的编辑距离。另外,相似度可以是计算出的相似度值,也可以是根据预设打分规则和相似度值确定的分数。

102、获取候选经验命名实体的特定特征。

其中,所述特定特征包括所述候选经验命名实体与所述待识别命名实体的相似度和所述候选经验命名实体与其他命名实体的预设关联性特征。

所述命名实体的预设关联性特征包括以下至少一项或几项的组合:

(1)所述候选经验命名实体所对应的标准命名实体的名称与所述待识别命名实体的名称是否完全相同。

其中,由于在对命名实体进行识别时,最终是要将待识别命名实体归类到标准命名实体中,所以当待识别命名实体与标准命名实体在名称上完全相同时,其归类于该标准命名实体的可能性更大,故可以增加该特征作为其中一个判断依据。

(2)所述候选经验命名实体对应的标准命名实体的名称,在对应的经验命名实体中出现的次数比例。

由于在实体知识库中,不仅有命名实体的名称,还有除名称以外的其他特征用来描述该命名实体的唯一性,所以在建立实体知识库时,可能会出现因不同经验命名实体的名称相同,其他特征不同,而导致对应不同标准命名实体。在这种情况下,单纯基于名称进行匹配获得的候选经验命名实体中可能会有名称相同但其他特征不同的候选经验命名实体,为了进一步确定待识别命名实体更接近哪个候选经验命名实体,可以将所述候选经验命名实体对应的标准命名实体的名称,在对应的经验命名实体中出现的次数比例作为一种判断依据。

如果所述预设关联性特征包括所述候选经验命名实体对应的标准命名实体的名称,在对应的经验命名实体中出现的次数比例,则获取候选经验命名实体的特定特征包括:可以从所述实体知识库中查找所述候选经验命名实体对应的标准命名实体的名称,在对应的经验命名实体中出现的次数比例;或者,获取所述候选经验命名实体对应的标准命名实体的名称,并统计获取的标准命名实体对应的经验命名实体的个数,以及与所述获取的标准命名实体的名称相同的经验命名实体的个数,并基于统计出的个数,计算所述获取的标准命名实体的名称,在对应的经验命名实体中出现的次数比例。

例如,一个标准命名实体的名称为A,其对应10个经验命名实体,其中有8个经验命名实体的名称为A,另外两个为B,那么标准命名实体的名称在经验命名实体中出现的次数比例是80%,而另外一种名称B的次数比例是20%;又如,另一个标准命名实体的名称为B,对应10个经验命名实体,其中有7个经验命名实体的名称为B,另外3个为A,那么该标准命名实体的名称在经验命名实体中出现的次数比例是70%,而另一种名称A出现的次数比例为30%。由此,当候选经验命名实体的名称为A时,待识别命名实体属于第一种标准命名实体的可能性更大。

(3)所述候选经验命名实体的语义类型与所述待识别命名实体的语义类型的相似度。

由于对于一种命名实体其厂家、规格、品牌等属性可能不同,所以当待识别命名实体的名称与经验命名实体的名称很相似时,其也可能表示的是两种不同的命名实体。为了识别更加准确性,可以增加语义类型作为一种判断依据。

如果所述预设关联性特征包括所述候选经验命名实体的语义类型与所述待识别命名实体的语义类型的相似度,则获取候选经验命名实体的特定特征包括:获取记录有所述待识别命名实体的待识别文本;结合所述待识别文本,确定所述待识别命名实体的语义类型;从所述实体知识库中获取所述候选经验命名实体的语义类型;计算所述候选经验命名实体的语义类型与所述待识别命名实体的语义类型的相似度。

其中,在结合所述待识别文本,确定待识别命名实体的语义类型时,可以结合待识别文本中的上下文来进行确定。例如,对于一种药品,医院药房可能有多个品牌,医生开药时,除了会输入药品本身的名称外,还会写出所属品牌,所以可以通过药单上的上下文得出语义类型是某品牌。

103、基于所述特定特征,重新计算所述候选经验命名实体与所述待识别命名实体的相似度,获得与所述待识别命名实体相似度满足预设条件的候选经验命名实体,并将所述待识别命名实体归类于所述满足预设条件的候选经验命名实体对应的标准命名实体。

在基于所述特定特征,重新计算所述候选经验命名实体与所述待识别命名实体的相似度时,所采用的算法有多种,下面以下述两种算法为例进行阐述:

第一种:为所述特定特征分配预设的权重;基于分配的权重进行加权计算,获得重新计算的所述候选经验命名实体与所述待识别命名实体的相似度。

具体的,可以根据历史经验,来为每种特定特征都设置相对合理的权重,例如根据历史经验,确定“所述候选经验命名实体所对应的标准命名实体的名称与所述待识别命名实体的名称是否完全相同”这个特征比其他特征更重要,为该特征分配较高的权重,得出的最终结果会更加准确,则可以根据大量试验确定该特征所对应的合理权重。

其中,“所述候选经验命名实体所对应的标准命名实体的名称与所述待识别命名实体的名称是否完全相同”的结果为“是”时,可以设置为1,结果为“否”时,可以设置为0。在这种情况下,加权公式可以为最终相似度=初步计算的相似度*权重1+(1或0)*权重2+次数比例*权重3+语义类型相似度*权重3。

第二种:将所述特定特征输入到预设识别模型中,重新计算的所述候选经验命名实体与所述待识别命名实体的相似度。

其中,预设识别模型是根据历史文本训练出的机器自学习模型。包括但不限于线性回归模型、支持向量机模型。在获得预设识别模型后,可以直接将本次待识别命名实体的特定特征输入到预设识别模型中,直接自动化输出最终的相似度结果。

在对N名候选经验命名实体与待识别命名实体的相似度重新进行计算后,可以对该N名候选经验命名实体重新进行排序,获得满足预设条件的候选经验命名实体,并将满足预设条件的候选经验命名实体对应的标准命名实体为待识别命名实体所映射的标准命名实体。其中,预设条件可以为相似度最高,也可以为相似度大于预设阈值的其中一个候选经验命名实体。也就是说,在对N名候选经验命名实体重新进行排序后,可以将相似度排第一名的候选经验命名实体作为最终所需的候选经验命名实体,也可以将相似度大于预设阈值的至少一个候选经验命名实体中的一个候选经验命名实体作为最终所需的候选经验命名实体。

本发明实施例提供的命名实体的识别方法,能够先将待识别命名实体与实体知识库中的经验命名实体进行名称匹配,从所有经验命名实体中筛选出N个候选经验命名实体,从而从名称本身维度实现对命名实体的粗略识别,再结合这N个候选经验命名实体的其他特征,从这N个候选经验命名实体中确定出与待识别命名实体最匹配的一个候选经验命名实体,并将待识别命名实体归类于最后选取的候选经验命名实体对应的标准命名实体,从而从非名称本身维度实现对命名实体的详细识别。也就是说,与现有技术仅从名称本身维度识别命名实体相比,本发明能够从名称本身维度和非名称本身维度综合识别命名实体,进而提高了命名实体归类的准确性。

可选的,当采用预设识别模型对相似度重新进行计算,实现对N名候选经验命名实体进行重新排序之前,需要先训练出预设识别模型,下面对预设识别模型的训练方法进行阐述:

获取基于历史文本中命名实体与所述实体知识库中经验命名实体的相似度确定的N名候选经验命名实体以及所述候选经验命名实体的特定特征;对添加标签后的候选经验命名实体的特定特征进行模型训练,获得所述预设识别模型;所述标签用于指示所述历史文本中命名实体所归属的标准命名实体。

其中历史命名文本是大量的文本,对于每个历史命名文本的每个命名实体都初步确定出N名的候选经验命名实体(优选前N名),然后获取每个候选经验命名实体对应的M(正整数)个特定特征,人工对M个特定特征整体添加用于指示所述历史文本中命名实体所归属的标准命名实体的标签,采用某个机器自学习算法,让计算机不断学习调整每个特定特征对应的权重,最后得出识别准确率到达预设阈值时,得出最终需要的预设识别模型。

上述实施例中指出,预设识别模型可以为线性回归模型,也可以为支持向量机模型,还可以为其他机器自学习模型。

下面以线性回归模型为例,对其中的具体参数进行说明:

所述线性回归模型的优化目标是最小化‖Xw-Y‖;

其中,X是特定特征,Y是0或1,w是特定特征的权重。通过不断地调整w的数值,来计算‖Xw-Y‖,当‖Xw-Y‖最小时,识别的准确率到达最高,从而得到预设识别模型。

此外,为了进一步提高预设识别模型识别命名实体的准确性,在确定出待识别命名实体对应的标准命名实体后,可以根据所述待识别命名实体与相对应的标准命名实体,对所述预设识别模型进行更新。

具体实施例时,可以在使用预设识别模型识别到了一定数量的结果后,可以基于这些结果对预设识别模型进行更新。

本发明实施例可以应用于多种领域的命名实体中,只要存在命名实体名称多样性的情况,本发明实施例均可以实现命名实体的准确归类。如图2所示,下面以命名实体命名多样化的医学领域为例,对本发明的实现过程进行阐述:

201、获取待识别医疗文本中的待识别医疗命名实体。

获取待识别医疗文本的方式包括但不限于:接收用户输入的待识别医疗文本;或者,接收其他设备发送的待识别医疗文本;或者,从数据库中获取待识别医疗文本。

获取待识别医疗命名实体的方式包括但不限于:接收用户输入的(或其他设备发送的)待识别医疗命名实体;或者,通过对待识别医疗文本进行语义分析,从待识别医疗文本中提取待识别医疗命名实体。例如,将待识别医疗文本的文字与预设医疗词库进行匹配,若匹配成功,则将匹配成功的词作为待识别医疗命名实体。

202、通过将所述待识别医疗命名实体与医疗实体知识库中的经验医疗命名实体进行名称匹配,获得所述待识别医疗命名实体与所述经验医疗命名实体的相似度,并基于所述相似度获取N个候选经验医疗命名实体。

所述经验医疗命名实体包括从历史医疗文本中获取到的归类于所述标准医疗命名实体的命名实体;N为正整数。所述医疗命名实体包括药物名称、疾病名称、症状名称、治疗方式名称等。医疗实体知识库可以为一体化医学语言系统(Unified Medical LanguageSystem,UMLS)。医疗文本包括药方、化验单、检查单、医学论文、医学期刊等等。

203、获取候选经验医疗命名实体的特定特征。

所述特定特征包括所述候选经验医疗命名实体与所述待识别医疗命名实体的相似度和所述候选经验医疗命名实体与其他命名实体的预设关联性特征。

204、基于所述特定特征,重新计算所述候选经验医疗命名实体与所述待识别医疗命名实体的相似度,获得与所述待识别医疗命名实体相似度满足预设条件的候选经验医疗命名实体,并将所述待识别医疗命名实体归类于所述满足预设条件的候选经验医疗命名实体对应的标准医疗命名实体。

本发明实施例提供的命名实体的识别方法,能够先将待识别医疗命名实体与医疗实体知识库中的经验医疗命名实体进行名称匹配,从所有经验医疗命名实体中筛选出N个候选医疗命名实体,从而从名称本身维度实现对医疗命名实体的粗略识别,再结合这N个候选经验医疗命名实体的其他特征,从这N个候选经验医疗命名实体中确定出与待识别医疗命名实体最匹配的一个候选经验医疗命名实体,并将待识别医疗命名实体归类于最后选取的候选经验医疗命名实体对应的标准医疗命名实体,从而从非名称本身维度实现对医疗命名实体的详细识别。也就是说,与现有技术仅从名称本身维度识别医疗命名实体相比,本发明能够从名称本身维度和非名称本身维度综合识别医疗命名实体,进而提高了医疗命名实体归类的准确性。

进一步的,依据上述方法实施例,本发明的另一个实施例还提供了一种命名实体的识别方法,如图3所示,所述方法包括:

301、采集待识别文本,并从所述待识别文本中获取待识别命名实体。

采集待识别文本的方式包括但不限于:接收用户输入的待识别文本;或者,接收其他设备发送的待识别文本;或者,从数据库中获取待识别文本。

从所述待识别文本中获取待识别命名实体的方式包括但不限于:接收用户输入的(或其他设备发送的)待识别文本;或者,通过对待识别文本进行语义分析,从待识别文本中提取待识别命名实体。例如,将待识别文本的文字与预设词库进行匹配,若匹配成功,则将匹配成功的词作为待识别命名实体。

302、通过将所述待识别命名实体与实体知识库中的经验命名实体进行名称匹配,获得所述待识别命名实体与所述经验命名实体的相似度,并基于所述相似度获取N个候选经验命名实体。

所述经验命名实体包括从历史文本中获取到的归类于标准命名实体的命名实体;N为正整数。

303、获取候选经验命名实体的特定特征。

所述特定特征包括所述候选经验命名实体与所述待识别命名实体的相似度和所述候选经验命名实体与其他命名实体的预设关联性特征。

304、基于所述特定特征,重新计算所述候选经验命名实体与所述待识别命名实体的相似度,获得与所述待识别命名实体相似度满足预设条件的候选经验命名实体,并将所述待识别命名实体归类于所述满足预设条件的候选经验命名实体对应的标准命名实体。

305、根据归类结果,输出所述待识别命名实体与标准命名实体的对应关系。

在输出所述待识别命名实体与标准命名实体的对应关系时,可以仅输出所述待识别命名实体与标准命名实体的对应关系,也可以在待识别文本中标注所述待识别命名实体与标准命名实体的对应关系。其中,在待识别文本中标注所述待识别命名实体与标准命名实体的对应关系的具体实现方式有多种。例如,如图4所示,在对待识别命名实体进行归类后,输出待识别文本时,可以在待识别命名实体旁边增加对应的注释,表明其对应的标准命名实体。又如,如图5所示,还可以在带待识别文本内容周围(如下方)增加具有待识别命名实体与标准命名实体的对应关系的注释。

本发明实施例提供的命名实体的识别方法,不仅可以提高命名实体归类的准确性,还可以通过向用户输出待识别命名实体与标准命名实体的对应关系,使得用户能够快速获知待识别命名实体的标准含义。

进一步的,依据上述方法实施例,本发明的另一个实施例还提供了一种命名实体的识别装置,如图6所示,所述装置包括:

名称匹配单元41,用于通过将待识别命名实体与实体知识库中的经验命名实体进行名称匹配,获得所述待识别命名实体与所述经验命名实体的相似度;

第一获取单元42,用于基于所述相似度获取N个候选经验命名实体;所述经验命名实体包括从历史文本中获取到的归类于标准命名实体的命名实体;N为正整数;

第二获取单元43,用于获取候选经验命名实体的特定特征;所述特定特征包括所述候选经验命名实体与所述待识别命名实体的相似度和所述候选经验命名实体与其他命名实体的预设关联性特征;

计算单元44,用于基于所述特定特征,重新计算所述候选经验命名实体与所述待识别命名实体的相似度,获得与所述待识别命名实体相似度满足预设条件的候选经验命名实体;

归类单元45,用于将所述待识别命名实体归类于所述满足预设条件的候选经验命名实体对应的标准命名实体。

可选的,所述第二获取单元43获取的所述预设关联性特征包括以下至少一项或几项的组合:

所述候选经验命名实体所对应的标准命名实体的名称与所述待识别命名实体的名称是否完全相同;

所述候选经验命名实体对应的标准命名实体的名称,在对应的经验命名实体中出现的次数比例;

所述候选经验命名实体的语义类型与所述待识别命名实体的语义类型的相似度。

可选的,所述第二获取单元43,用于如果所述预设关联性特征包括所述候选经验命名实体对应的标准命名实体的名称,在对应的经验命名实体中出现的次数比例,从所述实体知识库中查找所述候选经验命名实体对应的标准命名实体的名称,在对应的经验命名实体中出现的次数比例;或者,获取所述候选经验命名实体对应的标准命名实体的名称,并统计获取的标准命名实体对应的经验命名实体的个数,以及与所述获取的标准命名实体的名称相同的经验命名实体的个数,并基于统计出的个数,计算所述获取的标准命名实体的名称,在对应的经验命名实体中出现的次数比例。

可选的,所述第二获取单元43,用于如果所述预设关联性特征包括所述候选经验命名实体的语义类型与所述待识别命名实体的语义类型的相似度,则获取记录有所述待识别命名实体的待识别文本;结合所述待识别文本,确定所述待识别命名实体的语义类型;从所述实体知识库中获取所述候选经验命名实体的语义类型;计算所述候选经验命名实体的语义类型与所述待识别命名实体的语义类型的相似度。

可选的,如图7所示,所述计算单元44包括:

分配模块441,用于为所述特定特征分配预设的权重;

第一计算模块442,用于基于分配的权重进行加权计算,获得重新计算的所述候选经验命名实体与所述待识别命名实体的相似度。

可选的,如图7所示,所述计算单元44包括:

第二计算模块443,用于将所述特定特征输入到预设识别模型中,重新计算的所述候选经验命名实体与所述待识别命名实体的相似度。

可选的,如图7所示,所述装置还包括:

第三获取单元46,用于获取基于历史文本中命名实体与所述实体知识库中经验命名实体的相似度确定的N名候选经验命名实体以及所述候选经验命名实体的特定特征;

训练单元47,用于对添加标签后的候选经验命名实体的特定特征进行模型训练,获得所述预设识别模型;所述标签用于指示所述历史文本中命名实体所归属的标准命名实体。

可选的,如图7所示,所述装置还包括:

更新单元48,用于根据所述待识别命名实体与相对应的标准命名实体,对所述预设识别模型进行更新。

可选的,所述第二计算模块443使用的所述预设识别模型包括线性回归模型;

所述线性回归模型的优化目标是最小化‖Xw-Y‖;

其中,X是特定特征,Y是0或1,w是特定特征的权重。

本发明实施例提供的命名实体的识别装置,能够先将待识别命名实体与实体知识库中的经验命名实体进行名称匹配,从所有经验命名实体中筛选出N个候选经验命名实体,从而从名称本身维度实现对命名实体的粗略识别,再结合这N个候选经验命名实体的其他特征,从这N个候选经验命名实体中确定出与待识别命名实体最匹配的一个候选经验命名实体,并将待识别命名实体归类于最后选取的候选经验命名实体对应的标准命名实体,从而从非名称本身维度实现对命名实体的详细识别。也就是说,与现有技术仅从名称本身维度识别命名实体相比,本发明能够从名称本身维度和非名称本身维度综合识别命名实体,进而提高了命名实体归类的准确性。

进一步的,依据上述方法实施例,本发明的另一个实施例还提供了一种命名实体的识别装置,如图8所示,所述装置包括:

第一获取单元51,用于获取待识别医疗文本中的待识别医疗命名实体;

名称匹配单元52,用于通过将所述待识别医疗命名实体与医疗实体知识库中的经验医疗命名实体进行名称匹配,获得所述待识别医疗命名实体与所述经验医疗命名实体的相似度;

第二获取单元53,用于基于所述相似度获取N个候选经验医疗命名实体;所述经验医疗命名实体包括从历史医疗文本中获取到的归类于标准医疗命名实体的命名实体;N为正整数;

第三获取单元54,用于获取候选经验医疗命名实体的特定特征;所述特定特征包括所述候选经验医疗命名实体与所述待识别医疗命名实体的相似度和所述候选经验医疗命名实体与其他命名实体的预设关联性特征;

计算单元55,用于基于所述特定特征,重新计算所述候选经验医疗命名实体与所述待识别医疗命名实体的相似度,获得与所述待识别医疗命名实体相似度满足预设条件的候选经验医疗命名实体;

归类单元56,用于将所述待识别医疗命名实体归类于所述满足预设条件的候选经验医疗命名实体对应的标准医疗命名实体。

进一步的,依据上述方法实施例,本发明的另一个实施例还提供了一种命名实体的识别装置,如图9所示,所述装置包括:

采集单元61,用于采集待识别文本;

第一获取单元62,用于从所述待识别文本中获取待识别命名实体;

名称匹配单元63,用于通过将所述待识别命名实体与实体知识库中的经验命名实体进行名称匹配,获得所述待识别命名实体与所述经验命名实体的相似度;

第二获取单元64,用于基于所述相似度获取N个候选经验命名实体;所述经验命名实体包括从历史文本中获取到的归类于标准命名实体的命名实体;N为正整数;

第三获取单元65,用于获取候选经验命名实体的特定特征;所述特定特征包括所述候选经验命名实体与所述待识别命名实体的相似度和所述候选经验命名实体与其他命名实体的预设关联性特征;

计算单元66,用于基于所述特定特征,重新计算所述候选经验命名实体与所述待识别命名实体的相似度,获得与所述待识别命名实体相似度满足预设条件的候选经验命名实体;

归类单元67,用于将所述待识别命名实体归类于所述满足预设条件的候选经验命名实体对应的标准命名实体;

输出单元68,用于根据归类结果,输出所述待识别命名实体与标准命名实体的对应关系。

进一步的,本发明的另一个实施例还提供了一种存储介质,所述存储介质存储有多条指令,所述指令适用于由处理器加载并执行如上所述的命名实体的识别方法。

本发明实施例提供的存储介质中存储的指令,能够先将待识别命名实体与实体知识库中的经验命名实体进行名称匹配,从所有经验命名实体中筛选出N个候选经验命名实体,从而从名称本身维度实现对识别命名实体的粗略识别,再结合这N个候选经验命名实体的其他特征,从这N个候选经验命名实体中确定出与待识别命名实体最匹配的一个候选经验命名实体,并将待识别命名实体归类于最后选取的候选经验命名实体对应的标准命名实体,从而从非名称本身维度实现对命名实体的详细识别。也就是说,与现有技术仅从名称本身维度识别命名实体相比,本发明能够从名称本身维度和非名称本身维度综合识别命名实体,进而提高了命名实体归类的准确性。

进一步的,本发明的另一个实施例还提供了一种电子设备,所述电子设备包括存储介质和处理器;

所述处理器,适于实现各指令;

所述存储介质,适于存储多条指令;

所述指令适于由所述处理器加载并执行如上所述的命名实体的识别方法。

本发明实施例提供的电子设备,能够先将待识别命名实体与实体知识库中的经验命名实体进行名称匹配,从所有经验命名实体中筛选出N个候选经验命名实体,从而从名称本身维度实现对识别命名实体的粗略识别,再结合这N个候选经验命名实体的其他特征,从这N个候选经验命名实体中确定出与待识别命名实体最匹配的一个候选经验命名实体,并将待识别命名实体归类于最后选取的候选经验命名实体对应的标准命名实体,从而从非名称本身维度实现对命名实体的详细识别。也就是说,与现有技术仅从名称本身维度识别命名实体相比,本发明能够从名称本身维度和非名称本身维度综合识别命名实体,进而提高了命名实体归类的准确性。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

可以理解的是,上述方法及装置中的相关特征可以相互参考。另外,上述实施例中的“第一”、“第二”等是用于区分各实施例,而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的一种实施方式。

在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。

类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在下面的权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的命名实体的识别方法及装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

完整详细技术资料下载
上一篇:石墨接头机器人自动装卡簧、装栓机
下一篇:文本处理模型的训练方法、装置、电子设备及存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!