具体实施方式

具体实施方式一：基于多级策略和深度强化学习框架的图像中文描述系统，该系统包 括图像特征提取模块、多级策略网络模块、多级奖励网络模块、强化学习训练模块和语句 生成模块；其中图像特征提取模块负责预训练图像信息后传输至多级策略网络模块；多级 策略网络模块将特征向量转化为矩阵后发送至多级奖励网络模块；多级奖励网络模块负责 将图像信息深度学习后输出至强化学习训练模块；

通过强化学习训练模块将多级策略网络模块和多级奖励网络模块处理后的信息共同 训练，由语句生成模块输出语句完成图像中文描述。

优选的，图像信息使用AI Challenger挑战赛所用标准图像中文描述数据集中的训练 集图片；

优选的，所述训练集图片归一化为256*256*3比例，得到每张图片2048维高级特征向量，多级策略网络模块包括单词级策略和句子级策略功能完成。

具体实施方式二：除具体实施方式一给出的系统，本实施例提供一种基于多级策略和 深度强化学习框架的图像中文描述方法以及后续的实验论证，具体步骤过程如下：

1.1图像特征提取：

ResNet深度神经网络为代表的达上百层的深度卷积网络，由于残差学习使得网络深 度得到加深的同时，保证网络的性能不会退化，其参数使用较少，能够加速模型的训练。本实施例在图像特征提取方面采用ResNet152卷积神经网络，参数量比VGGNet模型低， 训练时间比深度神经网络快，效果也非常突出。该网络有152层网络，由152层卷积层组 成，其中150层由50个3层的残差块组成，其网络结构如图1所示。

使用ResNet152网络对图像提取全局特征的过程如下：首先基于ImageNet图像分类 数据集对ResNet152网络进行预训练，并将预训练好的权重系数进行保存；然后将训练好 的权重偏置参数迁移至ResNet152网络中，接着将AI Challenger挑战赛所用标准图像中 文描述数据集中的训练集图片送入ResNet152网络中进行特征提取，送入网络中的图片统 一归一化为256*256*3。之后卷积神经网络会根据之前预训练好的权重系数对图片进行一 系列卷积池化等操作计算，得到ResNet152网络最后自适应平均池化层的输出，得到每张 图片的2048维高级特征向量，保存图像的高级特征向量。

1.2多级策略网络：

图像首先经过ResNet152网络进行特征提取，得到高级语义特征V。多级策略网络由 单词级策略和句子级策略组成。

单词级策略是指图像中文网络，首先用CNN从输入图像中提取特征I，然后使用线性映射将其嵌入。单词由嵌入在与映射图像特征相同维的单向矢量表示。每个句子的开头都标有特殊的BOS令牌，每个句子的结尾都标有EOS令牌。在此策略下，将生成单词， 然后将其输入回到基于RNN的模块中，其中图像特征I被视为第一个单词。通过更新网 络的隐藏状态和单元，基于RNN的模块可输出所有单词的分布令θ_π示词级策略的参 数，由表示，目的是使每一步正确单词的负对数似然性的总和最小化：

句子级策略是一种视觉语义嵌入网络，已成功应用于图像分类，将图像特征I和句子 S映射到一个共同的嵌入空间中，以测量它们之间的相似性。如图2所示，给定句子S， 其嵌入特征使用RNN的最后隐藏状态表示。用h_p(RNN(S))表示句子映射层，而用 f_p(I)表示图像映射层。如图1所示，句子级策略由图像特征I和单词级策略的部分生 成标题构成，它们之间的置信度由以下公式计算：

句子级别策略通过从大规模上下文中评估当前状态来提供句子置信度；

最后为了保证语句生成模型训练的正常进行，需要统一图像特征向量与词语特征向量 的维度，这里采用全连接的策略将图像2048维特征向量映射到512维的词向量特征空间 得到最终的图像特征映射向量，映射公式为：

y＝W^T(DCNN(I))+b (3)

式中：y是经过全连接计算后得到的512维特征向量，W是2048*512维的矩阵，I 是输入到网络中的图像，DCNN(I)是网络提取到的2048维特征向量，b是权重系数。

1.3多级奖励网络：

多级奖励功能是视觉-语言奖励和语言-语言奖励的结合。是一种视觉语义嵌入网络， 其结构与句子级策略相同。但是，它们之间存在一些差异。第一个区别是视觉奖励来自图 像特征I和完全生成的而不是部分生成的，多级策略网络融合了单词级和句子级策略。它评估完全生成的上的视觉语言相关性，并定义RL优化的特定目标。

如图2所示，用f_r(I)表示句子映射层，而图像映射层用表示图像 映射层，视觉语言奖励的定义如下：

第二个区别是，为该奖励预训练了嵌入空间，而句子级策略则直接在RL框架中进行 训练，令θ_π表示视觉句子奖励的参数，在图像中文数据集中使用图像句子对，并使用双向排名损失来学习RNN权重和映射层：

其中γ是交叉验证的余量，每个(I，S)表示真实图像句对，S^-表示对与I对应的 图像的否定描述，I^-表示对与之相对应的图像的否定描述到S。

语言-语言奖励是指已成功应用于图像中文任务的自动评估指标。由于它是使用预定 义规则计算的，因此可以稳定地评估顺序操作。使用语言-语言奖励作为视觉-语言奖励的 补充，它是通过将完全生成的与相应的真值进行比较来计算的。

1.4强化学习训练：

强化学习中的关键问题在于联合策略部分和奖励部分以进行联合学习。由于视觉奖励 部分是经真实的有效值预先训练的，因此可以作为衡量图像与句子之间相关性的标准。通 过利用图像环境中的所有信息来训练强化学习框架中的句子级别策略，可以将其视为衡量 图像和句子之间相似度的辅助表标准。通过最小化G，专业奖励将指导非专业策略进行优 化，并进一步使双方共同学习收益最大化。令θ_π表示句子级策略的参数，用表示多级策略网络的参数，并且通过最小化负期望组合奖励，生成 的单词r_total的分布。

目标函数可以表述为：

强化训练过程包括两个步骤。

1、使用标准的监督学习，在等式中预训练词级策略θ_π和视觉语言奖励θ_r。

2、使用等式共同训练θ_π和θ_a，得到的基线RL不仅具有句子级策略，而 还具有当前模型在测试时使用的推理算法下获得的语言-语言 奖励。梯度的样本近似如下：

其中和用作η的组合基线和移动基线，评估中的减法会导 致策略梯度中的方差估计值小得多，可以将这种梯度缩放比例视为状态s_t时动作优势的 估计。

1.5语句生成模型：

本实施方式采用构建双层GRU模型来进行解码和生成中文语句，GRU神经网络对LSTM网络改进，将忘记门和输入门进行合并，GRU网络只有两个门，分别为重置门r_t和 更新门z_t，h_t-1和h_t是GRU网络前一时刻的隐藏层状态和当前时刻的隐藏层状态，GRU 网络通过两个门来对隐藏状态进行更新，GRU模型结构示意图如图4所示。

h_t-1和h_t是GRU网络前一时刻的隐藏层状态和当前时刻的隐藏层状态，GRU网络通过两个门来对隐藏状态进行更新，具体步骤如下：

(1)通过重置门r_t控制前一时刻隐藏层信息被遗忘的程度，可以用来有效的捕捉序 列数据中短期的依赖关系，其计算公式为：

r_t＝σ(W_r·[h_t-1，x_t]) (10)

式中：σ()是sigmoid函数，Wr是重置门层的权重系数，h_t-1是前一时刻的隐藏层状态，xt是当前时刻的输入信息。

(2)通过更新门z_t控制前一时刻隐藏层状态信息被带入到当前时刻隐藏层的程度， 即前一时刻的隐层状态信息对当前时刻的隐层状态信息的影响程度，可以用来有效的捕捉 序列数据中长期的依赖关系，其计算公式为：

z_t＝σ(W_z·[h_t-1，x_t]) (11)

式中：σ()是sigmoid函数，Wz是重置门层的权重系数，h_t-1是前一时刻的隐藏层状态，x_t是当前时刻的输入信息。

(3)当前时刻的隐层候选状态是待保留的隐层状态信息，它使用重置门对前一时刻 的隐层状态信息进行过滤，具体表现为将重置门的值与前一时刻的隐层信息做点乘操作， 重置门的值越趋近于0，代表前一时刻隐层状态信息被丢弃的越多。隐层候选状态本质上 是一个经重置门过滤后的前一时刻隐层状态h_t-1与当前时刻的输入经权重系数相乘相加 后利用tanh函数压缩到(-1，1)区间的值，隐层候选状态表达为：

式中：W是候选权重系数，r_t是重置门，h_t-1是前一时刻的隐藏层状态，x_t是当前 时刻的输入信息。

(4)当前时刻的隐层状态r_t是GRU网络当前时刻的真实输出，它使用更新门对前一时刻的隐层状态信息和当前时刻的隐层候选状态进行更新，更新门的值越趋近于1，代表前一时刻的隐层状态信息被保留的较多，若重置门的值为1，则说明之前时刻的隐含状态将一直通过时间轴进行不衰减的保留并传递至当前时刻隐层状态表达式为：

双层GRU网络layer1的作用是对图像特征与词嵌入特征进行特征整合并输入到layer2中，layer2的作用是根据layer1的输出进行特征推断并进行解码实现词语的预测生成。模型的信息流向为：

t＝0时刻layer1中的输入分别为：

(1)经特征映射后的图像特征；

(2)对稀疏词编码进行二次编码的词嵌入特征。

t＝0时刻layer1的输出分别为：

(1)layer1在t＝1时刻的隐层输入；

(2)layer2在t＝0时刻的实际输入。

t＝0时刻layer2的输入分别为：

(1)layer1的隐层输出；

(2)layer2的隐层初始值。

t＝0时刻layer2的输出分别为：

(1)layer2在t＝0时刻的真实输出；

(2)layer2在t＝1时刻的隐层输入。

加深网络层数不仅可以使得模型学习到更深层次的文本特征，同时也可以使得序列模 型可以获得更好的拟合能力从而生成更准确的语句，模型整体流程图如图4所示，对AI Challenger挑战赛图像数据集使用ResNet152网络生成图像的全局特征向量，并最终转换 为中文语句。

2.实验及分析：

2.1数据集：

为了验证模型的有效性和输出语句的流畅性与连贯性，实验选取具有挑战性的AIChallenger全球AI挑战赛图像中文描述数据集作为数据集，数据集形式包含图像和对应5句中文描述，包含训练集21万张图片，每张图片对应5句中文描述，共105万句中文描 述；验证集和测试集各3万张图片和15万句中文描述。

2.2实验细节

实验采用ResNet152网络中进行特征提取，送入网络中的图片统一归一化为256*256 像素大小，经过一系列卷积和最后一层自适应平均池化操作后，得到输出全局特征向量的 大小为[2048，1，1]。句子级策略和视觉语言奖励都是视觉语义的嵌入网络，对它们都采 用相同的架构，但是要对它们进行独立训练。使用一个具有2048-d隐藏单元的LSTM层来构造RNN，并且两个线性映射层的尺寸都设置为2048×512。

在训练过程中，单词级策略的LSTM隐藏维度、图像维度、单词维度和注意嵌入维度均固定为512。使用Adam优化器，初始学习率为5×10-5，小批量大小为64。最大纪 元数为30个。等式3中的λ，等式9中的β，等式4中的γ，和等式6中的η分别设置 为0.4、0.6、0.2和0.4。在测试过程中，波束搜索设置为1。所有实验均在PyTorch中实 现。

模型基于Linux操作系统进行设计，使用python语言进行程序编写，采用开源深度学习框架pytorch0.4.0完成图像中文文本描述模型的构建。针对该词级策略探索了三种类型的图像中文模型即CNN-RNN，Attention和Stacked模型。

2.3实验结果对比：

本实施例在客观评价和主观评价方面都进行了实验对比，将当前实验的训练准确率结 果在使用中文描述数据集上进行对比，在客观评价方面使用BLEU-4图像描述标准进行实 验对比。

在客观评价指标方面，BLEU结果值越大说明效果越好，本文提出的新型模型在准确 率、BLEU-4指标和训练时间与其他已提出的模型进行了对比，其效果得到明显提升，模型训练准确率对比结果如表1所示：

表1模型训练准确率对比

本文中使用三个文本描述模型来构建单词级策略，分别由P-CNN-RNN，P-Attention 和P-Stacked表示，三种模型测试对比实验结果如表2所示：

表2模型测试实验对比

模型训练时间对比实验结果如表3所示：

表3模型训练时间结果对比

在主观评价实验对比方面，利用AI Challenger全球AI挑战赛图像中文描述测试数据 集，对图像中文描述模型进行测试，实验测试了本实施例提出的多级策略新框架和单级策 略生成的中文语句的质量，通过分成(a)是使用多级策略深度强化学习框架生成的中文 语句、(b)是使用单级策略和奖励功能生成的中文语句，进行语义对比分析，如图5所示：

其中(1)部分：(a)：房间里有一个戴帽子的女孩在和一个女孩玩，(b)：两个女孩在房间里玩；

(2)部分：(a)：操场上有一个挥着球拍跳起的女人，(b)路上有一个跳起的女人；

(3)部分：(a)：饭店里有一群人围坐在桌子上，(b)：一群人坐在桌子上；

(4)部分：(a)：湖面上停有一艘小船，(b)：水上有一艘小船；

从图5中可以看出，提出的模型生成的描述语句相比于单级策略和奖励功能生成的语 句可以对语句中的错误内容就行修正，且更准确的描述出图像中的内容，多级策略生成的 描述与实际情况相抗衡，而单级策略通常会丢失关键信息，此外，从图5的(4)部分中(a) 与(b)描述语句均为失败情况，所描述的语句均不符合图片显示的实际情况，可知所提供 的方法在有些情况下不能完整的从嘈杂的背景中提出特定的对象。

结合以上主观和客观评价实验对比可以得出本论文提出的新的基于多级策略和深度 强化学习框架的图像中文描述模型在客观评价上能够得到更好的准确率和测试值，且节约 时间，在主观方面其生成的图像中文描述语句连贯性和可读性得到了提升。

具体实施方式三：实施例可以根据上述方法示例可根据说明书附图所示框图进行功能 模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功 能集成在一个处理模块中；上述集成的模块既可以采用硬件的形式实现，也可以采用软件 功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为 一种逻辑功能划分，实际实现时可以有另外的划分方式。

具体地，系统包括处理器、存储器、总线和通信设备；所述存储器用于存储计算机执 行指令，所述处理器与所述存储器通过所述总线连接，所述处理器执行所述存储器存储的 所述计算机执行指令，所述的通信设备负责与外界网络连接，进行数据的收发过程；所述 处理器与存储器相连，所述的存储器包括数据库软件；

具体地，所述数据库软件为SQLServer2005以上版本的数据库，并存储在计算机可读存储介质中；所述处理器与存储器包含的若干指令用以使得个人计算机或服务器或网络设备执行本方法全部或部分步骤；所述处理器所用类型包括中央处理器、通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合；所述存储介质包括U盘、移动硬盘、只读存储器、随 机存取存储器、磁碟或者光盘。

具体地，上述软件系统承载于中央处理器(Central Processing Unit，CPU)，通用处理 器，数字信号处理器(Digital Signal Processor，DSP)，专用集成电路(Application-Specific Integrated Circuit，ASIC)，现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或 者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行 结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是 实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。 相关人员及用户通信的通信设备则可以利用收发器、收发电路或通信接口等。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可 以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存 储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。 计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另 一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何 可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细 说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的 保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均 应包括在本发明的保护范围之内。