CN113407707A - 生成文本摘要的方法和装置 - Google Patents

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

为了解决现有技术中存在的问题，本发明提出一种基于要素的覆盖度机制的降低商品自动摘要冗余度的方法。基于要素词典，可以识别商品的要素；基于商品要素的覆盖度机制，可以减少解码器对源端属于同一个商品要素的词汇施加重复的注意力，进而减少商品摘要对同一个商品要素的重复描述。

图1是根据本发明实施例的生成文本摘要的方法的主要步骤示意图。如图1所示，本发明实施例的生成文本摘要的方法主要包括如下的步骤S101至步骤S102。

步骤S101：对待生成摘要的文本数据进行编码以得到隐层序列；

步骤S102：根据要素词典和基于要素的覆盖度机制对隐层序列进行解码以生成文本数据的摘要。

根据本发明的一个实施例，要素词典例如可以通过以下的方式构建：

根据文本数据的内容特点对文本数据进行分类；

通过对每一类文本数据进行标注和学习以构建文本数据对应的要素词典。

文本数据的种类很多，根据其内容特点可对文本数据进行分类，例如：可根据文本内容的题材将文本数据分为诗歌、散文、小说，词等等；又如，可根据内容不同将文本数据分为新闻、财经、科技、体育、娱乐，等等。

根据本发明的另一个实施例，要素词典例如可以通过以下方式构建：

根据物品的类别对文本数据进行分类；

通过对每一类文本数据进行标注和学习以构建文本数据对应的要素词典。

在本发明的一个实施例中，以对商品的详细描述文本数据生成摘要为例，可根据不同的商品类别，进行文本数据的分类。

在对文本数据进行分类之后，即可对每一类文本数据进行标注，在进行标注时，一般可通过专家来进行标注，给定一批商品详细描述文本数据，负责标注的专家每读一句话，标出其中所含的商品的要素及其要素词。然后，对标注出来的要素及其要素词进行学习，从而总结生成要素词典。比如对于文本数据“这款手机续航持久”，其中的要素是“电池”，要素词是“续航”，最终形成一个“要素-要素词”字典。另外，也可根据前期专家标注结果以及语义分析工具进行机器学习得到用于生成要素词典的模型，并使用该模型来进行要素词典的生成。

在本发明的实施例中，要素词典是一个“要素-要素词”的字典，描述了要素和要素词之间的对应关系，每个要素可以有多个对应的要素词。举例来说，对于商品“手机”，其要素包括“电池”、“屏幕”和“内存”等；要素“电池”对应的要素词包括“用电”、“电量”和“续航”等。在本发明的实施例中，每一种商品，可平均有10个左右的元素；且每个元素可以有30-100个要素词。根据商品对应的元素和元素词，即可构建商品的要素词典。

在得到要素词典之后，即可对待生成摘要的文本数据进行编码以得到隐层序列。在对文本数据进行编码时，需要输入一段商品的详细描述文本数据{x₁，x₂，…，x_n}，其中每一个x_i(i∈1，2，…，n)是一个词，可通过分词工具(比如斯坦福中文分词工具等)对商品的详细描述文本进行分词得到。然后，使用双向LSTM(Long Short-Term Memory，长短期记忆网络)编码器f_enc将商品的详细描述文本数据进行编码，生成一个隐层序列{h₁，h₂，…，h_n}，编码的公式如下：

h_i＝f_enc(x_i,h_i-1)

在得到隐层序列之后，即可对隐层序列进行解码以生成文本摘要。在本发明的实施例中，是根据要素词典和基于要素的覆盖度机制来进行解码的，较之现有技术中根据词和基于词的覆盖度机制来进行解码的技术方案来说，可以更好地避免对同一个要素施加重复的注意力，进而减少摘要中对同一个要素的重复描述，降低了生成的摘要的冗余度。

根据本发明的实施例，根据预设要素词典以及基于要素的覆盖度机制对隐层序列进行解码以生成文本摘要，在具体执行时可以是：

根据预设要素词典对隐层序列进行解码以得到要素集合；

根据要素集合和基于要素的覆盖度机制，记录对要素集合中每个要素的注意力历史，并在损失函数中对重复的要素的注意力进行惩罚以生成文本摘要。

在本发明的实施例中，通过单向LSTM解码器f_dec利用该隐层序列，通过注意力机制，逐词生成第一摘要，公式如下：

s_t＝f_dec(s_t-1,y_t-1,c_t)；

其中，{t₁，t₂，…，t_m}是解码器隐层序列，{y₁，y₂，…，y_m}是第一摘要，c_t是t时刻的上下文向量，通过注意力机制生成。

为了解决前述本发明所提出的技术问题，本发明提出了一种基于要素的覆盖度机制，记录解码器对要素的注意力的历史，并在损失函数里对解码器重复的要素注意力进行惩罚，从而做到减少重复要素的生成。根据预设要素词典对隐层序列进行解码以得到要素集合时，具体可以是：以预设要素词典中的要素为基本单位，对隐层序列进行解码，以逐个要素地生成要素集合。从而可以将同一要素的多个要素词进行聚类描述来生成文本摘要。

本发明的基于要素的覆盖度机制公式如下：

α_t,i＝softmax(e_t,i)；

c_t＝∑_iα_t,ih_i

其中，x_k∈a_j表示属于要素a_j的词x_k，表示t时刻对要素a_j的注意力；α_t,i表示t时刻对文本数据中第i个词的注意力；表示t时刻之前对要素a_j的注意力累积；e_t,i是中间变量，h_i是输入文本数据中第i个词的隐层状态，s_t是解码器第t时刻的隐层状态，u_a、U_a、W_a和V_a为模型参数矩阵。

最终解码器利用解码器隐层状态和上下文向量生成详细描述文本数据中每个词w被确定为摘要词的概率，公式如下：

P(w)＝softmax(W_bs_t+V_bc_t)；

其中，W_b和V_b为模型参数矩阵。

模型基于极大似然进行训练，损失函数如下：

本发明基于要素的覆盖度，在损失函数里对解码器重复的要素注意力进行惩罚，从而做到减少重复要素的生成，最终的损失函数公式如下：

L^final＝L+L^β；

其中，L^β是对解码器重复的注意力的损失函数；L^final是模型最终损失函数。

由上述的基于要素的覆盖度机制可以看出，其与现有的基于词的覆盖度机制相比较，可以将同一要素的多个要素词进行聚类描述以生成文本摘要，从而避免了对同一要素的重复描述，使得生成的文本摘要更为精简，准确，可以涵盖更多的信息。

图2是本发明一个实施例的生成文本摘要的流程示意图。如图2所示，在本发明的一个实施例中，以根据不同商品的详细描述文本生成对应的摘要为例，生成文本摘要的流程主要包括以下的步骤：

步骤S201：针对不同的商品种类，构建商品的要素词典，以记录要素与要素词之间的对应关系；

步骤S202：利用双向LSTM编码器对商品的详细描述文本进行编码以得到隐层序列；

步骤S203：将商品的要素的注意力历史融入解码器注意力计算过程，利用单向LSTM解码器对隐层序列进行解码，并对重复的要素的注意力进行惩罚，生成文本摘要。

图3是根据本发明实施例的生成文本摘要的装置的主要模块示意图。如图3所示，本发明实施例的生成文本摘要的装置300主要包括编码模块301和解码模块302。

编码模块301，用于对待生成摘要的文本数据进行编码以得到隐层序列；

解码模块302，用于根据预设要素词典对所述隐层序列进行解码以生成所述文本数据的摘要。

根据本发明的一个实施例，所述要素词典可以通过以下方式构建：：

根据文本数据的内容特点对文本数据进行分类；

通过对每一类文本数据进行标注和学习以构建文本数据对应的要素词典。

根据本发明的另一个实施例，所述要素词典可以通过以下方式构建：

根据物品的类别对文本数据进行分类；

通过对每一类文本数据进行标注和学习以构建文本数据对应的要素词典。

根据本发明的又一个实施例，解码模块302还可以用于：

根据预设要素词典对所述隐层序列进行解码以得到要素集合；

根据所述要素集合和基于要素的覆盖度机制，记录对所述要素集合中每个要素的注意力历史，并在损失函数中对重复的要素的注意力进行惩罚以生成文本摘要。

根据本发明的又一个实施例，解码模块302在根据预设要素词典对所述隐层序列进行解码以得到要素集合时，还可以用于：

以预设要素词典中的要素为基本单位，对所述隐层序列进行解码，以逐个要素地生成要素集合。

根据本发明的实施例，基于要素的覆盖度机制包括如下公式：

α_t,i＝softmax(e_t,i)；c_t＝∑_iα_t,ih_i；其中，e_t,i是中间变量，h_i是文本数据中第i个词的隐层状态，s_t是解码器第t时刻的隐层状态，u_a、U_a、W_a和V_a为模型参数矩阵；x_k∈a_j表示属于要素a_j的词x_k，表示t时刻对要素a_j的注意力；α_t,i表示t时刻对文本数据中第i个词的注意力；表示t时刻之前对要素a_j的注意力累积。

根据本发明的再一个实施例，对重复的要素的注意力进行惩罚的方式如下：其中，L^β是对解码器重复的注意力的损失函数；α_t,i表示t时刻对文本数据中第i个词的注意力；表示t时刻之前对要素a_j的注意力累积。

根据本发明实施例的技术方案，通过对待生成摘要的文本数据进行编码以得到隐层序列；根据预设要素词典和基于要素的覆盖度机制对隐层序列进行解码以生成文本摘要，可以基于要素词典，识别文本数据的要素及对应的要素词；基于要素的覆盖度机制，可以将同一要素的多个要素词进行聚类描述以生成文本摘要，从而更好地避免了对同一要素施加重复的注意力，进而减少摘要中对同一个要素的重复描述，降低了生成的摘要的冗余度，使得生成的文本摘要更为精简，准确，可以涵盖更多的信息。

图4示出了可以应用本发明实施例的生成文本摘要的方法或生成文本摘要的装置的示例性系统架构400。

如图4所示，系统架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备401、402、403可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器405可以是提供各种服务的服务器，例如对用户利用终端设备401、402、403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本发明实施例所提供的生成文本摘要的方法一般由服务器405执行，相应地，生成文本摘要的装置一般设置于服务器405中。

应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图5，其示出了适于用来实现本发明实施例的终端设备或服务器的计算机系统500的结构示意图。图5示出的终端设备或服务器仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括编码模块和解码模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，编码模块还可以被描述为“用于对待生成摘要的文本数据进行编码以得到隐层序列的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：对待生成摘要的文本数据进行编码以得到隐层序列；根据预设要素词典和基于要素的覆盖度机制对所述隐层序列进行解码以生成文本摘要。

根据本发明实施例的技术方案，通过对待生成摘要的文本数据进行编码以得到隐层序列；根据要素词典和基于要素的覆盖度机制对隐层序列进行解码以生成文本摘要，可以基于要素词典，识别文本数据的要素及对应的要素词；基于要素的覆盖度机制，可以将同一要素的多个要素词进行聚类描述以生成文本摘要，从而更好地避免了对同一要素施加重复的注意力，进而减少摘要中对同一个要素的重复描述，降低了生成的摘要的冗余度，使得生成的文本摘要更为精简，准确，可以涵盖更多的信息。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。