具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

下面以主题推荐场景为例，就集合的提要的生成过程进行示意性说明。其中，提要用于表征集合中对象的共性，可以视为集合的摘要。提要的展示形式可以包括但不限于文本、图片、视频等多种信息格式。

一、关系图的构建

一般来说，对象的文本描述信息中具有较多噪音单词，不利于生成高一致性的标题，反而对象的图像描述信息和对象是高度相关的。于是，本公开引入了对象的图像描述信息，图像描述信息和对象的文本描述信息一起，作为信息源来确定属于同一主题的多个对象的标题。其中，图像描述信息可以是指对象的静态化的图片信息，也可以是指对象的视频信息。可选地，图像描述信息还可以是指基于OCR(Optical Character Recognition，光学字符识别)技术对图像进行识别后的描述信息。

属于同一主题的多个对象，是指适于一次性向用户推荐的具有一个共同主题的对象的集合。确定属于同一主题的多个对象的提要，也即确定集合的提要。其中，主题可以是用于表征对象类别的主题，也可以是用于表征对象所具备的功能的主题。对象用于表征向用户推荐的信息，可以是但不限于商品、阅读物(如文章、资讯等)等多种形式的信息。

为了发现集合中对象的共性，可以根据集合中对象的文本描述信息和图像描述信息，构建用于表征集合中对象间的关联关系的关系图。文本描述信息是指对象的文本形式的描述信息，图像描述信息是指对象的图像形式的描述信息。以对象是商品为例，文本描述信息可以是指商品标题，图像描述信息可以是指但不限于商品图片和/或商品视频。

下面首先就关系图的构建过程进行示意性说明。

可以根据集合中对象的文本描述信息和图像描述信息，构建由节点和节点之间的连线组成的关系图，节点用于表征取自文本描述信息的文本或取自图像描述信息的图像，连线用于表征节点之间的关联关系。

作为示例，可以构建如下三种类型的关系图。

1、文本图

可以根据集合中对象的文本描述信息，构建由文本节点和文本节点之间的连线组成的关系图(为了便于区分，可以称为第一关系图)。

第一关系图中的节点均为文本类型的节点(也即文本节点)，因此第一关系图也可以称为文本图。文本节点用于表征取自文本描述信息的文本。

图1示出了文本图的构建流程示意图。

如图1所示，首先可以从集合中对象的文本描述信息中提取一个或多个文本，作为文本节点。其中可以根据文本在文本描述信息中出现的频次，提取频次大于预定数值的文本作为文本节点，也可以根据基于预定方式得到的文本的重要程度，提取重要程度大于预定数值或重要程度排名靠前的文本作为文本节点。

以对象为商品、文本描述信息为商品标题为例，商品标题中有大量的无关噪声词，为了避免噪声词的标题生成造成影响，可以从商品标题中提取关键词作为文本节点，如可以将集合中所有商品标题中词频大于1的单词作为关键词。

在得到文本节点后，可以挖掘文本节点之间的关联关系，将具有关联关系的文本节点用连线连接。具体可以根据多种方式判断文本节点间是否存在关联关系。例如，可以将出现在同一对象的文本描述信息中的两个文本节点用连线连接，即如果两个文本节点所表征的文本出现在一个对象的文本描述信息中，那么可以将这两个文本节点进行连边。再例如，也可以将相关性大于第一阈值的两个文本节点用连线连接，关于文本节点间相关性的计算方式，本公开不再赘述，如可以通过计算文本节点所表征的文本间的文本相似度的方式，确定文本节点间的相关性。

如此可以构建由文本节点以及文本节点之间的连线组成的文本图。

可选地，还可以确定连线的权重，权重用于表征连线两端的文本节点之间的关联关系的亲密程度。以根据文本节点所表征的文本是否出现在同一对象的文本描述信息中确定文本节点间的连线为例，权重可以与两个文本节点所表征的文本出现在相同对象的文本描述信息中的次数正相关，即如果两个文本的共现频率越高那么两者之间的关系也就越亲密。以根据文本节点之间的相关性确定文本节点间的连线为例，权重可以与相关性的大小正相关。

2、图像图

可以根据集合中对象的图像描述信息，构建由图像节点和图像节点之间的连线组成的关系图(为了便于区分，可以称为第二关系图)。

第二关系图中的节点均为图像节点，因此第二关系图也可以称为图像图。其中，图像节点用于表征取自图像描述信息的图像。

图2示出了图像图的构建流程示意图。

如图2所示，首先可以从集合中对象的图像描述信息中提取一个或多个图像，作为图像节点。对象的图像描述信息可以包括对象的一个或多个图像，可以根据对象的图像描述信息中图像的排列次序，提取排列在前的图像作为图像节点；也可以根据基于预定方式得到的图像的重要程度，提取重要程度大于预定数值或重要程度排名靠前的图像作为图像节点。其中，图像可以是指静态化的图片，也可以是指动态化的视频。

在得到图像节点后，可以挖掘图像节点之间的关联关系，将具有关联关系的图像节点用连线连接。具体可以根据多种方式判断图像节点间是否存在关联关系。例如，可以将文本描述信息中具有相同文本的两个图像节点用连线连接，即如果两个图像节点所对应的对象的文本描述信息中具有相同的文本，那么可以将这两个图像节点进行连边。再例如，也可以将相似度大于第二阈值的两个图像节点用连线连接，关于图像节点间相似度的计算方式，本公开不再赘述，如可以通过计算图像节点所表征的图像间的图像相似度的方式，确定图像节点间的相似度。

如此可以构建由图像节点以及图像节点之间的连线组成的图像图。

可选地，还可以确定连线的权重，权重用于表征连线两端的图像节点的关联关系的亲密程度。以根据图像节点所对应的对象的文本描述信息中是否具有相同的文本确定图像节点间的连线为例，权重可以与相同文本的个数正相关，即如果两个图像节点对应的对象的文本描述信息中相同文本的个数越多，那么两者之间的关系也就越亲密，权重也就越大。以根据图像节点之间的相似度确定图像节点间的连线为例，权重可以与相似度的大小正相关。

3、异构图

可以根据集合中对象的文本描述信息和图像描述信息，构建由节点和节点之间的连线组成的关系图。不同于文本图、图像图，此处构造的关系图中的节点包括文本节点和图像节点这两种类型的节点。因此，此处构建的关系图可以称为异构图。其中，文本节点用于表征取自文本描述信息的文本。图像节点用于表征取自图像描述信息的图像。

图3示出了异构图的构建流程示意图。

如图3所示，首先可以从集合中对象的文文本描述信息中提取一个或多个文本，作为文本节点；并从集合中对象的图像描述信息中提取一个或多个图像，作为图像节点。文本节点、图像节点的先后生成顺序，本公开不做限定。关于文本节点、图像节点的生成方式可以参见上文相关描述，此处不再赘述。

在得到文本节点和图像节点后，可以挖掘节点之间的关联关系，将具有关联关系的节点用连线连接。

作为示例，可以将文本描述信息中具有相同文本的两个对象所对应的图像节点分别与相同文本对应的文本节点用连线连接。由此，在异构图中，文本节点作为桥梁显式地构建了图像节点之间的关系。

以对象为商品、文本描述信息为商品标题、图像描述信息为商品图片为例，如果商品A的标题与商品B的标题之间共享有关键词W，那么就连接商品A的图片节点I_a与关键词W和商品B的图片节点I_b与W。在异构图中，商品的图片和商品的关键词同时是图中的节点，文本信息(关键词)作为桥梁显式的建模了商品图片之间的关系。

二、关系图中可用信息的向量化表示

关系图中的可用信息包括图中的节点以及节点间的关联关系。可用信息的向量化表示，也即可用信息的特征的向量化表示。

可以获取关系图中节点的向量化表示(为了便于区分，可以称为第一向量化表示)，并获取关系图中节点间的关联关系的向量化表示(为了便于区分，可以称为第二向量化表示)。

第一向量化表示可以用于表征提取的节点的特征，即第一向量化表示可以视为节点的特征的向量化表示。第二向量化表示可以用于表征提取的关联关系的特征，即第二向量化表示可以视为节点间关联关系的特征的向量化表示。其中，第二向量化表示可以用于表征节点间是否具有关联关系以及关联关系的紧密程度，第二向量化表示的获取过程不是本公开的侧重点，此处不再赘述。下面仅就文本节点和图像节点的向量化表示的获取过程进行示例性说明。

1、文本节点

在节点用于表征取自文本描述信息的文本(即节点为文本节点)的情况下，可以将文本的词向量作为节点的第一向量化表示。另外，也可以使用其他方式将对象的其他文本信息添加到节点的向量化表示中，以获得更好的性能。即，第一向量化表示除了包括文本节点所表征的文本的词向量外，还可以包括其他文本信息(如上下文信息)的词向量。

2、图像节点

在节点用于表征取自图像描述信息的图像(即节点为图像节点)的情况下，可以使用特征提取组件提取图像的特征，作为节点的第一向量化表示。

作为示例，特征提取组件可以包括残差网络(ResNet)和多层感知器(MLP)，残差网络的输出为多层感知器的输入。例如，残差网络可以采用ResNet50，即可以使用ResNet50作为特征提取器来提取图像节点所表征的图像(如商品图片)的特征。具体来说，可以使用在ImageNet(图片集)上预训练过的ResNet50网络，并且ResNet50网络的参数可以根据商品的类目再进行调整(如微调)。然后对所有的图片提取最后一层pooling(池化层)之后的2048维特征。提取的特征可以接着被送进一个MLP(多层感知器)中，在后续的训练，可以只训练这个MLP，

MLP＝W₂*ReLU(W₁*X_i)

上述公式中W₁W₂是可训练的参数矩阵，X_i是使用ResNet50提取的特征，ReLU是激活函数。

三、提要生成方式

可以使用预先训练好的提要预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到提要预测结果。基于提要预测结果可以确定集合的提要。提要预测结果可以是指提要预测模型组件输出的概率最大的预测结果，可以直接将标题预测模型组件输出的预测结果作为集合的提要，也可以对标题预测模型组件输出的预测结果进行调整，将调整后的结果作为集合的提要。其中，提要用于表征集合中对象的共性，可以视为集合的摘要。提要的展示形式可以包括但不限于文本、图片、视频等多种信息格式。例如，所生成的提要可以视为集合的标题，标题的展示形式可以包括但不限于文本、图片、视频等多种信息格式。

提要预测模型组件可以采用但不限于sequence-to-sequence(序列到序列)模型架构。由此，提要预测模型组件可以包括编码组件和解码组件，编码组件的输入为第一向量化表示和第二向量化表示，编码组件的输出为解码组件的输入。

解码组件可以采用基于注意力机制(Attention)的循环神经网络结构(RNN)，即解码组件可以包括注意力(Attention)结构和循环神经网络结构(RNN)，注意力结构用于确定解码时编码组件的输出中不同部分的权重分配，循环神经网络结构用于基于权重分配生成解码结果。关于解码组件的解码原理，不是本公开的侧重点，因此不再展开描述。

为了能够准确地提取关系图中节点和节点间关联关系的特征，编码组件可以采用图卷积神经网络结构(Graph Convolution Network，GCN)，利用GCN从关系图中提取特征。

图卷积神经网络结构包括预定层数的特征提取单元。其中，相邻两层特征提取单元中在后的特征提取单元的输入依赖于在前的特征提取单元的输出、关系图中至少部分节点的特征向量组成的矩阵以及节点之间的关联关系的矩阵。

作为示例，图卷积神经网络结构包括l+1层特征提取单元，l为大于或等于0的整数，第l+1层特征提取单元可以采用如下方式提取特征：

其中，A为用于表征节点之间的关联关系的矩阵，I为单位矩阵，H^l表示第l层提取的特征，输入层H⁰＝X，X为由关系图中至少部分节点的特征向量组成的矩阵，为的度矩阵，Wl+1为第l+1层的参数，σ为激活函数。

为了缓解GCN中的over-smoothing(过平滑)问题，可以在层与层之间加入残差连接。即，相邻两层特征提取单元之间为残差连接。关于层间加入的残差连接的具体形式本公开不再赘述。

作为示例，在加入残差连接的情况下，编码组件的输出可以表示为：

g^out＝tanh(W_og^l+1)；

g^l+1＝H^l+1+g^l，

其中，g^l+1为经过l+1层图编码层得到的表示，g^l为经过l层图编码层得到的表示，g^{l +1}再送入一个全连接层以及激活函数tanh得到用于解码端的表示g^out。

如上文所述，构建的关系图可以分为同构图(文本图、图像图)和异构图。异构图中同时存在图像节点和文本节点，对于异构图，使用GCN可以直接提取异构图中图像节点和文本节点的跨模态信息。

在构建的关系图为由文本图和图像图组成的同构图的情况下，为了能够使用来自图像和文本的信息，编码组件除了可以包括第一图卷积神经网络结构和第二图卷积神经网络结构，还可以包括信息融合组件。其中，第一图卷积神经网络结构用于从第一关系图(即文本图)中提取特征，第二图卷积神经网络结构用于从第二关系图(即图像图)中提取特征。信息融合组件用于整合第一图卷积神经网络结构的输出和第二图卷积神经网络结构的输出。信息融合组件的输出作为解码组件的输入。

换言之，针对同构图(文本图和图像图)和异构图，本公开提出了两种不同模型结构的提要预测模型组件。为了便于区分，这两种提要预测模型组件可以分别称为Dual-Graph2seq模型和Hetero-Graph2seq模型。

1、Dual-Graph2seq模型

Dual-Graph2seq模型包括编码组件和解码组件。其中编码组件包括第第一图卷积神经网络结构和第二图卷积神经网络结构以及信息融合组件。关于图卷积神经网络结构、解码组件可以参见上文相关描述，此处不再赘述。

图4示出了基于Dual-Graph2seq模型生成提要的示意性流程图。

如图4所示，可以利用图编码技术分别对文本图和图像图进行编码，编码结果可以进行信息融合，融合后的编码信息可以作为解码部分的输入，输入解码组件。

本公开可以使用门控(Adaptive Gate)机制控制文本图和图像图的编码信息的融合；也可以直接将文本图的编码结果和图像图的编码结果连接，然后使用注意力(Attention)机制得到用作解码的context(上下文)向量；还可以在图编码后使用多头注意力机制(Multi-headAttention)实现文本图和图像图的编码信息的融合；还可以使用pooling(池化)的方法对文本图的编码结果和图像图的编码结果进行处理，以得到用于解码的context向量。

2、Hetero-Graph2seq模型

Hetero-Graph2seq模型包括编码组件和解码组件。其中编码组件包括图卷积神经网络结构。关于图卷积神经网络结构、解码组件可以参见上文相关描述，此处不再赘述。

图5示出了基于Hetero-Graph2seq模型生成提要的示意性流程图。

如图5所示，可以通过图编码技术(如GCN)直接对异构图中图像和文本中的跨模态信息进行编码，编码结果可以作为解码组件的输入。其中解码组件可以基于注意力机制进行解码。

综上，如果仅仅使用文本信息很容易拟合到噪声单词上，生成与主题不一致的标题，而图像信息较为纯洁，与对象高度相关，加入图像信息一定程度上可以起到抗过拟合的作用。因此，通过引入图像信息，可以丰富信息源，根据额外的信息源使得可以生成信息更加丰富的提要。

并且为了发现集合中对象的共性，本公开同时基于对象的文本描述信息和图像描述信息，构建关系图，并使用图编码技术提取特征，以便生成相关性高且有吸引性的提要。

作为示例，在生成提要的同时，还可以输出集合中对象对生成提要的贡献程度，例如可以输出生成的提要来自集合中一个或多个对象的比例。由此，通过展示输出提要与集合中对象的比例关系，使得用户还能够进一步了解集合中对象与提要的紧密程度。

本公开还提出了一种信息推荐方法，包括：确定向用户推荐的具有同一主题的多个对象的集合；使用上文述及的提要生成方法确定集合的标题；输出提要；以及响应于用户针对提要的操作，输出集合中的对象。

本公开还可以实现为一种信息生成方法，可以根据集合中对象的第一类型描述信息和第二类型描述描述信息，确定集合的信息。所确定的信息可以用于表征集合中对象所共有的特性。即，所确定的信息可以视为集合中对象所共有的特性的信息表示。例如这里所确定的信息可以是指能够反映集合中对象的提要的信息，也即上文述及的提要。由此用户可以通过所确定的信息快速了解集合中的对象。

作为示例，可以根据集合中对象的第一类型描述信息和第二类型描述信息，构建由节点和节点间的连线组成的关系图，节点用于表征取自第一类型描述信息的第一类型信息或取自第二类型描述信息的第二类型信息，连线用于表征节点之间的关联关系；使用信息预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到信息预测结果；基于信息预测结果确定集合的信息。

第一类型描述信息和第二类型描述信息是指格式不同的信息。例如，第一类型描述信息可以是指文本形式的描述信息(也即上文述及的文本描述信息)，第二类型描述信息可以是指图像形式的描述信息(也即上文述及的图像描述信息)。其中，图像形式的描述信息可以进一步细分为图片描述信息、视频描述信息。由此，第一类型描述信息、第二类型描述信息可以是取自文本、图片、视频等多种类型描述信息中的任意两种。

第一类型信息的信息格式与第一类型描述信息的信息格式相同，以第一类型描述信息为文本描述信息为例，第一类型信息为文本。相应地，第二类型信息的信息格式与第二类型描述信息的信息格式相同，以第二类型描述信息为图像描述信息为例，第一类型信息为图像。

关于信息生成方法的具体实现过程可以参见上文相关描述，下面以第一类型描述信息为文本描述信息，第二类型描述信息为图像描述信息，所生成的信息为文本为例，就信息生成方法的实现流程做示意性说明。

图6示出了根据本公开一个实施例的文本生成方法的示意性流程图。

如图6所示，首先可以根据集合中对象的文本描述信息和图像描述信息，构建由节点和节点间的连线组成的关系图。关系图中的节点用于表征取自文本描述信息的文本或取自图像描述信息的图像，关系图中的连线用于表征节点之间的关联关系。关于关系图的构建过程可以参见上文相关描述，此处不再赘述。

在构建完成关系图后，可以使用文本预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到文本预测结果。关于文本预测模型组件的结构及预测原理，可以参见上文述及的标题预测模型组件，即可以将标题预测模型组件视为一种特殊的文本预测模型组件。

最后可以基于文本预测结果确定集合的文本。在确定了集合的文本后，可以向用户呈现该文本，以便于用户通过该文本快速了解集合中的对象。

图7示出了根据本公开一个实施例的提要生成装置的结构框图。其中，提要生成装置的功能模块可以由实现本公开原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图7所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。

下面就提要生成装置可以具有的功能模块以及各功能模块可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文结合图1至图5的相关描述，这里不再赘述。

参见图7，提要生成装置700包括构建模块710、提要预测模块720以及确定模块730。

构建模块710用于根据集合中对象的文本描述信息和/或图像描述信息，构建由节点和节点之间的连线组成的关系图，节点为取自文本描述信息的文本或取自图像描述信息的图像，连线用于表征节点之间的关联关系。

构建模块710可以根据集合中对象的文本描述信息，构建由文本节点和文本节点之间的连线组成的第一关系图，文本节点用于表征取自文本描述信息的文本；并且构建模块710可以根据集合中对象的图像描述信息，构建由图像节点和图像节点之间的连线组成的第二关系图，图像节点用于表征取自图像描述信息的图像。

在构建第一关系图时，构建模块710可以从文本描述信息中提取一个或多个文本，作为文本节点；将出现在同一对象的文本描述信息中的两个文本节点用连线连接，并且/或者将相关性大于第一阈值的两个文本节点用连线连接。

在构建第二关系图时，构建模块710可以从图像描述信息中提取一个或多个图像，作为图像节点；将文本描述信息中具有相同文本的两个图像节点用连线连接，并且/或者将相似度大于第二阈值的两个图像节点用连线连接。

提要生成装置700还可以包括权重确定模块。权重确定模块可以用于确定第一关系图和/或第二关系图中连续的权重。对于第一关系图而言，权重与两个文本节点所表征的文本出现在相同对象的文本描述信息中的次数正相关，并且/或者权重与相关性正相关。对于第二关系图而言，权重与相同文本的个数正相关，并且/或者权重与相似度正相关。

构建模块710还可以根据集合中对象的文本描述信息和图像描述信息，构建由节点和节点之间的连线组成的关系图(即上文述及的异构图)，关系图中的节点分为文本节点和图像节点，文本节点用于表征取自文本描述信息的文本，图像节点用于表征取自图像描述信息的图像。

在构建异构图时，构建模块710可以从文本描述信息中提取一个或多个文本，作为文本节点；从图像描述信息中提取一个或多个图像，作为图像节点；将文本描述信息中具有相同文本的两个对象所对应的图像节点分别与相同文本对应的文本节点用连线连接。

提要预测模块720用于使用提要预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到提要预测结果。关于提要预测模型组件的结构可以参见上文相关描述，此处不再赘述。

确定模块730用于基于提要预测结果确定集合的提要。例如，提要预测模块720可以输出预测概率最大的文本，确定模块630可以直接将提要预测模块720输出的文本作为集合的提要，也可以对提要预测模块720输出的文本进行调整，将调整后的文本作为集合的提要。

提要生成装置700还可以包括第一获取模块和/第二获取模块。第一获取模块用于获取节点的第一向量化表示，第二获取模块用于获取节点间关联关系的第二向量化表示。

在节点用于表征取自文本描述信息的文本的情况下，第一获取模块可以将文本的词向量作为节点的第一向量化表示。

在节点用于表征取自图像描述信息的图像的情况下，第一获取模块可以使用特征提取组件提取图像的特征，作为节点的第一向量化表示。关于特征提取组件的结构可以参见上文相关描述，此处不再赘述。

图8示出了根据本公开一个实施例的信息推荐装置的结构框图。其中，信息推荐装置的功能模块可以由实现本公开原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图8所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。

下面就信息推荐装置可以具有的功能模块以及各功能模块可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文相关描述，这里不再赘述。

参见图8，信息推荐装置800包括信息推荐模块810、提要生成模块820、第一输出模块830以及第二输出模块840。

信息推荐模块810用于确定向用户推荐的具有同一主题的多个对象的集合。集合中的对象是指适于一次性向用户推荐的具有一个共同主题的对象的集合。其中，主题可以是用于表征对象类别的主题，也可以是用于表征对象所具备的功能的主题。对象用于表征向用户推荐的信息，可以是但不限于商品、阅读物(如文章、资讯等)等多种形式的信息。

提要生成模块820用于使用上文述及的提要生成方法确定集合的提要。提要生成模块820对应于上文述及的提要生成装置，关于提要生成模块820的结构及生成提要的过程可以参见上文结合图7的说明。

第一输出模块830用于输出提要。用户可以针对提要执行点击操作以访问提要所对应的集合中的对象。第二输出模块840可以响应于用户针对提要的操作，输出集合中的对象。

图9示出了根据本公开一个实施例的信息生成装置的结构框图。其中，信息生成装置的功能模块可以由实现本公开原理的硬件、软件或硬件和软件的结合来实现。本领域技术人员可以理解的是，图9所描述的功能模块可以组合起来或者划分成子模块，从而实现上述发明的原理。因此，本文的描述可以支持对本文描述的功能模块的任何可能的组合、或者划分、或者更进一步的限定。

下面就信息生成装置可以具有的功能模块以及各功能模块可以执行的操作做简要说明，对于其中涉及的细节部分可以参见上文结合图1至图6的相关描述，这里不再赘述。

参见图9，信息生成装置900包括构建模块910、信息预测模块920以及确定模块930。

构建模块910用于根据集合中对象的第一类型描述信息和第二类型描述信息，构建由节点和节点之间的连线组成的关系图，节点为取自第一类型描述信息的第一类型信息或取自第二类型描述信息的第二类型信息，连线用于表征节点之间的关联关系。

构建模块910可以根据集合中对象的第一类型描述信息，构建由第一类型节点(如文本节点)和第一类型节点之间的连线组成的第一关系图，文本节点用于表征取自文本描述信息的文本；并且构建模块910可以根据集合中对象的第二类型描述信息，构建由第二类型节点(如图像节点)和第二类型节点之间的连线组成的第二关系图，第二类型节点用于表征取自第二类型描述信息的第二类型信息。

在构建第一关系图时，构建模块910可以从第一类型描述信息中提取一个或多个第一类型信息，作为第一类型节点；将出现在同一对象的第一类型描述信息中的两个第一类型节点用连线连接，并且/或者将相关性大于第一阈值的两个第一类型节点用连线连接。

在构建第二关系图时，构建模块910可以从第二类型描述信息中提取一个或多个第二类型信息，作为第二类型节点；将第一类型描述信息中具有相同第一类型信息的两个第二类型节点用连线连接，并且/或者将相似度大于第二阈值的两个第二类型节点用连线连接。

信息生成装置900还可以包括权重确定模块。权重确定模块可以用于确定第一关系图和/或第二关系图中连续的权重。对于第一关系图而言，权重与两个第一类型节点所表征的第一类型信息出现在相同对象的第一类型描述信息中的次数正相关，并且/或者权重与相关性正相关。对于第二关系图而言，权重与相同第一类型信息的个数正相关，并且/或者权重与相似度正相关。

构建模块910还可以根据集合中对象的第一类型描述信息和第二类型描述信息，构建由节点和节点之间的连线组成的关系图(如上文述及的异构图)，关系图中的节点分为第一类型节点和第二类型节点(如上文述及的文本节点和图像节点)，第一类型节点用于表征取自第一类型描述信息的第一类型信息，第二类型节点用于表征取自第二类型描述信息的第二类型信息。

在构建异构图时，构建模块910可以从第一类型描述信息中提取一个或多个第一类型信息，作为第一类型节点；从第二类型描述信息中提取一个或多个第二类型信息，作为第二类型节点；将第一类型描述信息中具有相同第一类型信息的两个对象所对应的第二类型节点分别与相同第一类型信息对应的第一类型节点用连线连接。

信息预测模块920用于使用信息预测模型组件对节点的第一向量化表示和节点之间的关联关系的第二向量化表示进行处理，以得到信息预测结果。关于信息预测模型组件的结构可以参见上文相关描述，此处不再赘述。

确定模块930用于基于信息预测结果确定集合的信息。以信息预测结果为文本为例，信息预测模块920可以输出预测概率最大的文本，确定模块930可以直接将信息预测模块920输出的文本作为集合的提要，也可以对信息预测模块920输出的文本进行调整，将调整后的文本作为集合的提要。

信息生成装置900还可以包括第一获取模块和/第二获取模块。第一获取模块用于获取节点的第一向量化表示，第二获取模块用于获取节点间关联关系的第二向量化表示。

以第一类型描述信息为文本描述信息为例，在节点用于表征取自文本描述信息的文本的情况下，第一获取模块可以将文本的词向量作为节点的第一向量化表示。

以第二类型描述信息为图像描述信息为例，在节点用于表征取自图像描述信息的图像的情况下，第一获取模块可以使用特征提取组件提取图像的特征，作为节点的第一向量化表示。关于特征提取组件的结构可以参见上文相关描述，此处不再赘述。

图10示出了根据本公开一实施例可用于实现上述方法的计算设备的结构示意图。

参见图10，计算设备1000包括存储器1010和处理器1020。

处理器1020可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器1020可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器1020可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。

存储器1010可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器1020或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器1010可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器810可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。

存储器1010上存储有可执行代码，当可执行代码被处理器1020处理时，可以使处理器1020执行上文述及的提要生成方法或信息推荐方法或信息生成方法。

上文中已经参考附图详细描述了根据本公开的提要生成方法、信息推荐方法、信息生成方法、提要生成装置、信息推荐装置、信息生成装置及计算设备。

此外，根据本公开的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本公开的上述方法中限定的上述各步骤的计算机程序代码指令。

或者，本公开还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本公开的上述方法的各个步骤。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。

附图中的流程图和框图显示了根据本公开的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。