具体实施方式

为了解决现有技术中存在的针对短文本进行主题挖掘时准确率低的问题，本申请实施例提供了一种文本主题挖掘方法，通过对多个文本数据进行语义表示，获得对应的句向量集合；然后根据句向量集合对多个文本数据进行聚类分析，从而获得主题结果。

在详细描述该方案之前，为了便于理解，先针对方案中涉及到的相关名词进行解释：

稠密词向量(Embeddings)：选用业务垂直领域语料，采用跳词和负采样(Skip-Gram with Negative Sampling,SGNG)的方式，将词语编码成稠密的定长向量，稠密词向量中包含多个词语对应的词向量。

逆文件频率(Inverse Document Frequency，IDF)：是一种用于资讯检索与资讯探勘的常用加权术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。

光滑逆频率(Smooth Inverse Frequency，SIF)：计算句子中单词向量的加权平均值，然后删除平均向量在其第一个主成分上的投影(即，公共成分去除)。

业务词表：预先构建的词表，业务词表中包含该领域中多个主题词。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

可以理解的是，本申请实施例提供的文本主题挖掘方法可以应用于终端设备(也可以称为电子设备)以及服务器；其中终端设备具体可以为智能手机、平板电脑、计算机、个人数字助理(PersonalDigitalAssitant，PDA)等；服务器具体可以为应用服务器，也可以为Web服务器。

为了便于理解，本申请实施例提供的技术方案，下面以终端设备作为执行主体为例。

图1为本申请实施例提供的一种文本主题挖掘方法流程示意图，如图1所示，该方法包括：

步骤101：获取多个文本数据；

步骤102：对所述多个文本数据进行语义分析，获得句向量；

步骤103：汇总所述句向量，获得句向量集合；

步骤104：根据所述句向量集合对所述多个文本数据进行聚类分析，获得聚类结果；当所述聚类结果中的簇集合满足聚类结束条件时，将所述簇集合主题结果作为所述多个文本数据的文本主题；

其中，所述聚类结果包括多个簇集合，每一所述簇集合包括多个句向量。

在步骤101中，多个文本数据可以是历史时间段内收集的日志数据，也可以是收集的电话录音，并将电话录音转换成文本数据。

在步骤102中，语义分析方法可以有多种，本申请实施例采用分词器分别对每个文本数据进行分词处理，获得每个文本数据包含的词语，然后从稠密词向量中查找每个词语对应的词向量，再采用SIF编码方式获得每个文本数据对应的句向量。多个文本数据的句向量构成句向量集合。可以理解的是，句向量集合中的每个句向量与文本数据相对应。应当说明的是，获得句向量的方法除了采用本申请实施例提供的SIF编码方式外，还可以通过其他方式获得，本申请实施例对此不做具体限定。

在步骤103中，对句向量集合中的句向量进行聚类分析，其中，可以采用K-Means++聚类算法或K-Means聚类算法，也可以采用其他聚类算法，本申请实施例对此不作具体限定。对于K-Means++聚类算法来说，其超参数的簇个数可以根据文本数据的个数和预先设定的每个主题需要的论据(文本数据)支撑的个数确定。例如：假设文本数据有600个，每个主题需要100个论据支撑，那么，簇个数为6个。可以理解的是，簇个数为正整数，若文本数据不能整除每个主题需要的论据支撑的个数，则进行取整操作。并且，簇个数还可以根据经验设定，本申请实施例对此不作具体限定。

另外，K-Means++聚类算法相对于K-Means聚类算法有更好的初始化，其可以加快迭代收敛速度，从而能够提高主题挖掘的效率。在实际应用中，可根据实际情况选择合适的聚类算法。

由于句向量与文本数据一一对应，对句向量集合中的句向量进行聚类，也相当于对文本数据进行聚类。再有，聚类分析的目的是将属于同一个主题的文本数据归为一类，因此，可以通过聚类结果获取主题结果。

本申请实施例通过预先对多个文本数据进行语义表示，获得句向量，然后根据句向量对多个文本数据进行聚类分析，从而获得文本主题，不论文本数据的长短，均能够较准确的进行主题分析，从而提高了主题分析的准确性。

在上述实施例的基础上，所述对所述多个文本数据进行语义分析，获得句向量，包括：

对每一所述文本数据进行分词处理，获得所述每一文本数据对应的词语；

从预先存储的稠密词向量查询所述词语的词向量；

采用光滑逆频率法SIF的编码方式对所述每一文本数据对应的词向量进行编码，获得所述句向量。

在具体的实施过程中，可以采用现有的分词器对每一个文本数据进行分词处理，分词后去掉常见的停用词，获得每一个文本数据对应的词语。由于稠密词向量中存储有多个词语的向量表示，因此，针对每一个文本数据对应的词语，采用预先存储的稠密词向量获得对应词语的词向量。词向量又叫word嵌入，其中来自词汇表的单词或短语被映射到实数的向量。它涉及从每个单词一维的空间到具有更低维度的连续向量的数学嵌入。

SIF的编码方式具体为：首先，在对句子编码时，对高频词降权处理，全语料内统计出的高频词一般是非关键词，降低了非关键词的影响；其次，在编码后会进删除第一主成分，去掉了共有的公共特征，包括一些噪音信息。

因此，利用SIF编码对文本数据进行语义分析，降低了噪音和非关键信息对句子向量表示的影响，从而提高了后续聚类的效果。

在上述实施例的基础上，所述根据所述句向量集合对所述多个文本数据进行聚类分析，获得聚类结果，当聚类结果中的簇集合满足聚类结束条件时，将所述簇集合的主题结果作为所述多个文本数据的文本主题，包括：

聚类分析步骤：根据当前中间句向量集合对所述多个文本数据进行一次聚类分析，获得中间聚类结果；其中，所述中间句向量集合的初始值为所述句向量集合；

主题分析步骤：对所述中间聚类结果中每一簇集合进行主题分析，获得每一簇集合的子主题结果，所述子主题结果包括主题词；

当所述簇集合中主题词的数量大于第一预设阈值时，将所述簇集合作为目标簇集合；

若满足所述聚类结束条件，则将获得的所述目标簇集合的子主题结果的集合作为所述文本主题；

若未满足所述聚类结束条件，则将所述目标簇集合中的句向量从所述句向量集合中删除，形成更新的所述中间句向量集合，并重复所述聚类分析步骤以及所述主题分析步骤。

在具体的实施过程中，图2为本申请实施例提供的另一种文本主题挖掘方法流程示意图，如图2所示，为了便于理解，本申请实施例以对A通信公司的投诉日志系统中的日志数据进行挖掘，确定投诉主题为例进行描述。

假设：每个投诉原因至少需要100个日志数据支撑；对同一种投诉原因的表达应至少有3个共现词出现。可以理解的是，共现词可以为主题词。

该文本主题挖掘方法包括：

步骤201：获取多个文本数据；采集历史时间段内的6万个会话日志的文本内容。

步骤202：对文本数据进行语义分析，获得句向量集合。该步骤的具体实现方式与上述实施例一致，此处不再赘述。获得的句向量集合可以表示为：X＝[x₁,x₂,...,x₆₀₀₀₀]，集合中每一个元素表示一个会话日志对应的句向量。

步骤203：对当前中间句向量集合进行一次聚类分析，获得聚类结果；本申请实施例采用K-Means++聚类算法，设置超参数个数为600。

步骤204：针对每一簇集合进行主题分析，获取每一簇集合的主题词。

图3为本申请实施例提供的一种主题分析流程示意图，如图3所示，对每一簇集合进行主题分析的具体方法包括：

步骤301：获取所述簇集合中每一句向量到簇中心的距离，并根据所述距离筛选出目标句向量。以第i簇集合为例，经过聚类分析后，第i簇集合可以表示为：X_i＝[[0.12123,-1.39812,....],[0.4312,0.31231,...],...]，每个中括号中的数据表示一个句向量。计算每个句向量到簇中心的距离，该距离可以是欧式距离，也可以是曼哈顿距离，只要是能够表征句向量到簇中心相似度的算法均可，本申请实施例对此不作具体限定。在获得第i簇集合中每个句向量到簇中心的距离后，对距离进行排序，选择离簇中心最近的前80％的句向量作为目标句向量。例如：目标句向量组成的集合可以为集合A＝[你们客服服务差，态度不好，客服什么态度啊，客服态度不行，....]。可以理解的是，目标句向量的筛选比例可以根据实际情况进行调整，例如：可以是85％，还可以是90％，本申请实施例对此不作具体限定。

步骤302：获取所述目标句向量对应的子文本数据，对所述子文本数据对应的目标词语进行词性标注，获得每个目标词语的词性。每个目标句向量都对应一个文本数据，本申请实施例将该文本数据称为子文本数据。由于在上述步骤202对文本数据进行语义分析时，对文本数据进行了一次分词处理，那么在本申请实施例中，可以直接对经过上述步骤202进行分词处理后获得的子文本数据的目标词语进行词性标注，获得每个目标词语的词性。当然，也可以在步骤302中，重新对子文本数据进行分词，且此次分词时，考虑到了实际的业务场景，获得目标词语，然后标注目标词语的词性。

因此，上述两种方式(即，第一种为只在步骤202时进行一次分词操作；第二种为分别在步骤202和步骤302中进行分词)均可，在实际应用中，可以选择合适的方式。

步骤303：根据词性、预先存储的业务词表和逆文件频率词表对所述目标词语进行过滤，获得多个关键词。

例如：集合A分词结果为：[你们客服态度差，客服什么态度啊，客服态度不行，...]。

集合A词性结果为：[你们/r客服/n态度/n差/a，客服/n什么/r态度/n啊/zg,客服/n态度/n不行/v，...]

当词语满足下列条件，则认为是关键词：

1、业务词表中包括该词语。其中，业务词表有预先构建获得的。

2、该词语的词性为预设词性中的一种；其中，预设词性包括：名词，名词性语素，名词性惯用词，其他专有名词，动词，动名词，动词性语素，动词性惯用词，形容词，副形词，名形词，形容词性语素，形容词性惯用语等。

3、词语在逆文件频率词表中的值大于预设阈值。其中，预设阈值可以为3，也可以是其他数值，本申请实施例对此不作具体限定。

另外，若该词语没有在逆文件频率词表中，且满足上述条件1和条件2，则也认为是关键词。

步骤304：获取每个所述关键词对应的词频信息，根据所述词频信息确定主题词。在确定了每个目标词向量对应的关键词后，统计每个关键词在该簇集合中出现的频率，即词频。将词频大于预设值的词语作为主题词，例如，可以是将词频大于3的词语作为主题词。因此，上述集合A中对应的主题词为：[客服，态度，不好，差，不行]。

步骤205：判断主题词是否大于第一预设阈值；其中，第一预设阈值的具体取值根据实际情况进行设定，例如：可以是3，也可以是5，还可以为其他数值。若某一簇集合中的主题词大于第一预设阈值，则执行步骤206；若某一簇集合中的主题词小于或等于第一预设阈值，则说明当前簇集合无法获得文本主题，并且此时满足聚类结束条件，可以跳出迭代，执行步骤209。

步骤206：将该目标簇集合的主题词作为子主题结果；

在经过一次聚类分析，并进行主题分析后，若某个簇集合中的主题词的数量大于第一预设阈值，则说明根据该簇集合的主题词足以获得该簇集合的子主题结果，因此，将该簇集合作为目标簇集合，并将目标簇集合的主题词作为子主题结果。

在另一实施例中，为了防止子主题结果中主题词的数量过大，可以采取截断的方式，即，对主题词按照词频大小进行排序，选择词频最大的前5个作为子主题结果。可以理解的是，主题词的具体个数可以根据实际情况确定。

步骤207：判断是否满足聚类停止的条件；

其中，迭代停止的条件包括如下至少一种：

1、迭代次数大于第二预设阈值；例如，第二预设阈值为3，当迭代了4次后便达到了停止条件。

2、句向量集合中的句向量数量小于第三预设阈值；第三预设阈值可以根据预先假设的一个主题所需的论据数量确定，例如可以为100。

3、每个簇集合对应的主题词数量均小于所述第一预设阈值。第一预设阈值可以根据预先设定的一个主题的确定所需的共现词的数量。例如，可以是3。

若满足上述停止迭代的条件，则执行步骤209；否则，执行步骤208。

步骤208：更新中间句向量集合；将目标簇集合中的句向量从中间句向量集合中删除，以更新中间句向量集合，并将更新后的句向量集合作为当前中间句向量集合，并执行步骤203。可以理解的是，更新后的中间句向量集合为步骤202中获得的句向量集合的子集。

步骤209：根据子主题结果确定文本主题。将步骤206获得的各个目标簇集合的子主题结果进行合并，获得最终的文本主题。例如：文本主题为：服务态度差不好，返现到账逾期返回等。

本申请实施例通过预先对多个文本数据进行语义表示，获得对应的句向量，然后根据句向量对多个文本数据进行聚类分析，从而获得对应的文本主题，不论文本数据的长短，均能够较准确的进行主题分析，从而提高了主题分析的准确性。

在上述实施例的基础上，所述子主题结果还包括中心句，在获得目标簇集合之后，所述方法还包括：

获取所述目标簇集合中距离簇中心最近的句向量，将所述距离簇中心最近的句向量对应的文本数据作为所述目标簇集合的中心句。

在具体的实施过程中，主题结果中还可以包括中心句，中心句为目标簇集合中的其中一个句向量对应的文本数据。其中，确定中心句的方法为：通过步骤301计算的每个句向量到对应簇中心的距离，将距离最小的句向量对应的文本数据作为中心句。

例如：中心句为：服务态度差，活动返现到账不及时等。

可以理解的是，主题结果中还可以包括每个子主题结果的论据，该论据为子主题结果对应的目标簇集合中的所有文本数据。

本申请实施例通过首先通过聚类得到的簇具有语义相似结果，其次对聚类簇的结果按照一定的规则去筛选主题词，给用户一定的解释性。

图4为本申请实施例提供的文本主题挖掘装置结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。所述装置包括：数据获取模块401、数据处理模块402、句向量汇总模块403和主题分析模块404，其中：

数据获取模块401用于获取多个文本数据；数据处理模块402用于对所述多个文本数据进行语义分析，获得句向量；句向量汇总模块403用于汇总所述句向量，获得句向量集合；主题分析模块404用于根据所述句向量集合对所述多个文本数据进行聚类分析，获得聚类结果；当所述聚类结果中的簇集合满足聚类结束条件时，将所述的簇集合簇集合的主题结果作为所述多个文本数据的文本主题其中，所述聚类结果包括多个簇集合，每一所述簇集合包括多个句向量。

在上述实施例的基础上，数据处理模块402具体用于：

对每一所述文本数据进行分词处理，获得所述每一文本数据对应的词语；

从预先存储的稠密词向量查询所述词语的词向量；

采用光滑逆频率法SIF的编码方式对所述每一文本数据对应的词向量进行编码，获得所述句向量。

在上述实施例的基础上，主题分析模块404具体用于：

聚类分析步骤：根据当前的中间句向量集合对所述多个文本数据进行一次聚类分析，获得中间聚类结果；其中，所述中间句向量集合的初始值为所述句向量集合；

主题分析步骤：对所述中间聚类结果中每一簇集合进行主题分析，获得每一簇集合的子主题结果，所述子主题结果包括主题词；当所述簇集合中主题词的数量大于第一预设阈值时，将所述簇集合作为目标簇集合；

若满足所述聚类结束条件，则将获得的所述目标簇集合的子主题结果的集合作为所述文本主题；

若未满足所述聚类结束条件，则将所述目标簇集合中的句向量从所述句向量集合中删除，形成更新的所述中间句向量集合，并重复所述聚类分析步骤以及所述主题分析步骤。

在上述实施例的基础上，主题分析模块404具体用于：

获取所述簇集合中每一句向量到簇中心的距离，并根据所述距离筛选出目标句向量；

获取所述目标句向量对应的子文本数据，对所述子文本数据对应的目标词语词性标注，获得每个目标词语词性；

根据词性、预先存储的业务词表和逆文件频率词表对所述目标词语进行过滤，获得多个关键词；

获取每个所述关键词的词频信息，根据所述词频信息确定主题词。

在上述实施例的基础上，所述子主题结果还包括中心句，主题分析模块404具体用于：

获取所述目标簇集合中距离簇中心最近的句向量，将所述距离簇中心最近的句向量对应的文本数据作为所述中心句。

在上述实施例的基础上，主题分析模块404具体用于：

若所述子文本数据对应的一目标词语满足如下关键词判定条件，则将所述目标词语确定为所述关键词；

所述关键词判定条件包括：所述业务词表中包括所述目标词语；

所述目标词语的词性为预设词性中的一种；

所述目标词语在逆文件频率词表中的值大于预设阈值。

在上述实施例的基础上，所述聚类结束条件包括如下至少一种：

迭代次数大于第二预设阈值；

所述句向量集合中的句向量数量小于第三预设阈值；

每个簇集合对应的主题词数量均小于所述第一预设阈值。

在上述实施例的基础上，主题分析模块404具体用于：

根据所述句向量集合，利用K-Means++聚类算法或K-Means聚类算法对所述多个文本数据进行聚类分析。

图5为本申请实施例提供的电子设备实体结构示意图，如图5所示，所述电子设备，包括：处理器(processor)501、存储器(memory)502和总线503；其中，

所述处理器501和存储器502通过所述总线503完成相互间的通信；

所述处理器501用于调用所述存储器502中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取多个文本数据；对所述多个文本数据进行语义分析，获得句向量；汇总所述句向量，获得句向量集合；根据所述句向量集合对所述多个文本数据进行聚类分析，获得聚类结果；当所述聚类结果中的簇集合满足聚类结束条件时，将所述簇集合主题结果作为所述多个文本数据的文本主题；其中，所述聚类结果包括多个簇集合，每一所述簇集合包括多个句向量。

处理器501可以是一种集成电路芯片，具有信号处理能力。上述处理器501可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本申请实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器502可以包括但不限于随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-OnlyMemory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)等。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取多个文本数据；对所述多个文本数据进行语义分析，获得句向量；汇总所述句向量，获得句向量集合；根据所述句向量集合对所述多个文本数据进行聚类分析，获得聚类结果；当所述聚类结果中的簇集合满足聚类结束条件时，将所述簇集合主题结果作为所述多个文本数据的文本主题；其中，所述聚类结果包括多个簇集合，每一所述簇集合包括多个句向量。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取多个文本数据；对所述多个文本数据进行语义分析，获得句向量；汇总所述句向量，获得句向量集合；根据所述句向量集合对所述多个文本数据进行聚类分析，获得聚类结果；当所述聚类结果中的簇集合满足聚类结束条件时，将所述簇集合主题结果作为所述多个文本数据的文本主题；其中，所述聚类结果包括多个簇集合，每一所述簇集合包括多个句向量。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。