具体实施方式

为了使本发明所解决的技术问题，技术方案及有益效果更加清楚明白，以下具体实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供了一种汽车未来保值率预测方法，包括以下步骤：

步骤1、获取待预测汽车文本数据，采用jieba工具对待预测汽车文本数据进行分词，得到待预测汽车文本序列；其中，待预测汽车文本数据包括待预测汽车的品牌、车系及配置参数的文本数据；待预测汽车的品牌、车系及配置参数的文本数据采用在二手车网站上进行收集。

步骤2、采用word2vec词向量模型，对待预测汽车文本序列中的每个词进行词向量映射，得到文本序列的词向量矩阵；其中，词向量映射过程，将待预测汽车文本序列中的每个词进行此影响，得到对应的词向量；按照待预测汽车文本序列中的每个词的顺序，将对应的词向量按照从上到下排列，得到文本序列的词向量矩阵；本发明中，word2vec词向量模型采用基于negative sampling的cbow模型。

步骤3、将文本序列的词向量矩阵作为编码器-解码器的输入，获取编码器-解码器模型的输出，即得到待预测汽车的未来保值率预测结果；其中，编码器-解码器模型采用基于门循环单元变体的编码器-解码器模型。

本发明中，基于门循环单元变体的编码器-解码器模型包括双层编码器及双层解码器，并在双层编码器与双层解码器之间添加软注意力机制；双层编码器及双层解码器均采用门循环单元变体；其中，门循环单元变体是在门循环单元的基础上，去除其中的重置门，保留更新门，并修改更新门对候补隐藏状态的过滤数据流的方式构建得到；双侧编码器及双层解码器的基模型均采用门循环单元变体，模型的输入长度可以根据文本的长度自适应变化，灵活性好；在解码过程中，能够充分发挥循环神经网络对时序的理解，充分体现了新车未来保值率之间的时序性。

门循环单元变体的前向传播公式如下所示：

z_t＝σ(W_z·[h_t-1,x_t])

其中，z_t为t时刻门循环单元的更新门输出，σ(*)为sigmoid函数，W_z和W_h分别为权重参数矩阵，x_t为t时刻输入的词向量，h_t-1为t-1时刻的隐藏状态，为t时刻的候补隐藏状态，h_t为t时刻的隐藏状态，tanh(*)为双曲正切函数。

软注意力机制的注意力计算公式如下所示：

其中，a_ij为第i时刻解码器对第j时刻编码器输出的注意力分配系数，similarity为相似度函数，h_i-1为双层解码器第i-1时刻的隐藏状态，h_j为双层编码器第j时刻的隐藏状态，y_i是双层编码器第i时刻的输出，C_i为双层编码器第i时刻的注意力，lx为双层编码器输入文本序列的长度，h_k为双层编码器第k时刻的隐藏状态。

基于门循环单元变体的编码器-解码器模型的构建训练过程具体如下：

构建基于门循环单元变体的编码器-解码器模型，在编码器-解码器模型中添加注意力机制；其中，门循环单元变体为门循环单元的衍生结构，其为在门循环单元的基础上，去除其中的重置门，保留更新门，并修改更新门对候补隐藏状态的过滤数据流。

获取若干已知汽车文本数据，对已知汽车文本数据进行分析，得到已知汽车文本序列；采用词向量模型，对已知汽车文本序列中的每个词进行词向量映射，得到已知汽车文本序列的词向量矩阵；

将已知汽车文本序列的词向量矩阵对基于门循环单元变体的编码器-解码器模型进行训练；训练过程，采用反向传播；其中，已知汽车文本数据采用在二手车网站上收集若干描述二手车品牌、车系及配置参数的文本数据；本发明中，通过对已知汽车文本数据进行数据预处理，先按车分组，再按车龄分组，得到每一辆车前若干年的保值率；其中，将每一辆车的文本数据进行分词及词向量映射后，作为编码器-解码器模型的输入序列；将每一辆车前若干年的保值率作为编码器-解码器模型的真实输出值；利用处理后的数据来训练模型；训练过程采用反向传播，反向传播不会得到预测输出值，其为一种计算梯度的方法；具体的，计算损失函数对最后一层网络权重的梯度，再跟进链式法则来计算倒数第二层网络权重的梯度，以此类推获取所有层网络权重的梯度。

根据已知汽车文本数据的样本预测输出值与已知汽车文本数据的样本真实输出值，构建损失函数，并计算损失函数值；

判断损失函数值是否收敛至预设值；

若损失函数值未收敛至预设值，则对基于门循环单元变体的编码器-解码器模型的模型参数进行更新，直至损失函数值收敛至预设值，保存对应的模型参数，得到所述的编码器-解码器模型；

其中，损失函数的表达式为：

其中，L为损失函数，m为已知汽车文本数据的样本个数，y_i为已知汽车文本数据的样本真实输出值，为已知汽车文本数据的样本预测输出值，i为已知汽车文本数据的样本编号。

工作原理

本发明所述的汽车未来保值率预测方法，编码器-解码器模型构建训练过程将每一辆已知汽车文本数据分词及词向量映射后，作为基于门循环单元变体的编码器-解码器模型的输入序列；将每一辆车的前若干年的保值率作为基于门循环单元变体的编码器-解码器模型的真实输出，训练过程采用反向传播，利用损失函数，对模型的参数进行调整，得到所述的编码器-解码器模型；预测过程，将待测汽车文本数据进行分词及词向量映射，作为编码器-解码器模型的输入序列；利用双层编码器将输入序列编码呈语义相邻，双层解码器在软注意力机制的作用下，利用语义向量中的信息预测输出值。

本发明所述的汽车未来保值率预测方法，利用待预测汽车文本数据进行新车未来保值率预测，待测汽车文本数据的收集和处理较结构化数据过程简单；同时，能够放大离散数据的作用，充分发挥了离散数据的作用，有效减少了人工收集和处理结构化的历史数据的成本；采用基于门循环单元变体的编码器-解码器模型，模型的输入长度可以根据文本的长度自适应变化，灵活性好；在解码过程中能够充分发挥循环神经网络对时序的理解，充分体现了新车未来保值率之间的时序性。

本发明还提供了一种汽车未来保值率预测系统，包括文本序列模块、词向量矩阵及结果输出模块；文本序列模块，用于获取待预测汽车文本数据，对待预测汽车文本数据进行分词，得到待预测汽车文本序列；词向量模块，用于采用词向量模型，对待预测汽车文本序列中的每个词进行词向量映射，得到文本序列的词向量矩阵；结果输出模块，用于将文本序列的词向量矩阵作为编码器-解码器模型的输入，获取编码器-解码器模型的输出，即得到待预测汽车的未来保值率预测结果；其中，编码器-解码器模型采用基于门循环单元变体的编码器-解码器模型。

本发明还提供了一种汽车未来保值率预测设备，包括：处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，例如汽车未来保值率预测程序；所述处理器执行所述计算机程序时实现上述汽车未来保值率预测方法中的步骤；或者，所述处理器执行所述计算机程序时实现上述各装置实施例中各模块的功能。

示例性的，所述计算机程序可以被分割成一个或多个模块，所述一个或者多个模块被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述汽车未来保值率预测设备中的执行过程。例如，所述计算机程序可以被分割成文本序列模块、词向量矩阵及结果输出模块；各模块具体功能如下：文本序列模块，用于获取待预测汽车文本数据，对待预测汽车文本数据进行分词，得到待预测汽车文本序列；词向量模块，用于采用词向量模型，对待预测汽车文本序列中的每个词进行词向量映射，得到文本序列的词向量矩阵；结果输出模块，用于将文本序列的词向量矩阵作为编码器-解码器模型的输入，获取编码器-解码器模型的输出，即得到待预测汽车的未来保值率预测结果；其中，编码器-解码器模型采用基于门循环单元变体的编码器-解码器模型。

所述汽车未来保值率预测设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述汽车未来保值率预测设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述为汽车未来保值率预测设备的示例，并不构成对汽车未来保值率预测设备的限定，可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述汽车未来保值率预测设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(CentralProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor，DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、现成可编程门阵列(Field-ProgrammableGateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述汽车未来保值率预测设备的控制中心，利用各种接口和线路连接整个汽车未来保值率预测设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述汽车未来保值率预测设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMediaCard,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(FlashCard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述汽车未来保值率预测设备集成的模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。

基于这样的理解，本发明实现上述汽车未来保值率预测方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述汽车未来保值率预测方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、电载波信号、电信信号以及软件分发介质等。

需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

实施例

如附图1-2所示，以对某新车进行保值率估计，本实施例提供了一种汽车未来保值率预测方法，包括以下步骤：

步骤1、将待预测汽车的所有信息整理，得到待预测汽车文本数据；其中，待预测汽车文本数据采用在二手车网站上进行收集，包括汽车的品牌、车系及配置参数的文本描述数据。

步骤2、采用jieba工具对待预测汽车文本数据进行分词，得到待预测汽车文本序列；其中，待预测汽车文本序列；其中，对待预测汽车文本数据进行分词过程，采用将待预测汽车文本数据划分为多个词，其文本数据的字数不变；例如，将“今天天气真好”的文本数据进行分词后，得到“今天天气真好”。

步骤3、收集汽车市场上若干已知汽车文本数据作为语料集，对词向量模型进行训练，得到训练好的词向量模型；本实施例中，词向量模型采用谷歌的word2vec词向量模型；word2vec词向量模型采用基于negative sampling的cbow模型。

步骤4、采用训练好的词向量模型，对待预测汽车文本序列中的每个词进行词向量映射，待预测汽车文本序列中的每个词经过词向量映射后，分别得到对应的词向量；按照待预测汽车文本序列中的每个词的顺序，将对应的词向量按照从上到下排列，得到文本序列的词向量矩阵。

步骤5、构建基于门循环单元变体的编码器-解码器模型，并在编码器-解码器模型之间加入软注意力机制；其中，编码器-解码器模型包括双层编码器及双层解码器，软注意力机制添加在双层编码器与双层解码器之间；双层编码器及双层解码器均采用门循环单元变体；其中，门循环单元变体是在门循环单元的基础上，去除其中的重置门，保留更新门，并修改更新门对候补隐藏状态的过滤数据流的方式构建得到；其中，双层编码器的初始隐藏状态为零向量，双层解码器的初始隐藏状态为双层编码器最后一个时刻的隐藏状态

本实施例中，双层编码器及双层解码器的基模型均采用门循环单元变体CURG；其中，门循环单元变体CURG采用在门循环单元的基础上仅保留更新门，并修改了更新门对候补隐藏状态的过滤数据流。

本实施例中，门循环单元变体的前向传播公式如下所示：

z_t＝σ(W_z×[h_t-1,x_t])

其中，z_t为t时刻门循环单元变体的更新门输出，σ(*)为sigmoid函数，W_z和W_h分别为权重参数矩阵，x_t为t时刻输入的词向量，h_t-1为t-1时刻的隐藏状态，为t时刻的候补隐藏状态，h_t为t时刻的隐藏状态，tanh(*)为双曲正切函数。

软注意力机制的注意力计算公式如下所示：

其中，a_ij为第i时刻解码器对第j时刻编码器输出的注意力分配系数，similarity为相似度函数，h_i-1为双层解码器第i-1时刻的隐藏状态，h_j为双层编码器第j时刻的隐藏状态，y_i是双层编码器第i时刻的输出，C_i为双层编码器第i时刻的注意力，lx为双层编码器输入文本序列的长度，h_k为双层编码器第k时刻的隐藏状态。

本实施例中，编码器-解码器模型的构建训练过程，具体如下：

步骤51、构建基于门循环单元变体的编码器-解码器模型，在基于门循环单元变体的编码器-解码器模型中添加注意力机制；

步骤52、获取若干已知汽车文本数据，对已知汽车文本数据进行分析，得到已知汽车文本序列；采用词向量模型，对已知汽车文本序列中的每个词进行词向量映射，得到已知汽车文本序列的词向量矩阵；将已知汽车文本序列的词向量矩阵对基于门循环单元变体的编码器-解码器模型进行训练；训练过程，采用反向传播；其中，已知汽车文本数据采用在二手车网站上收集若干描述二手车品牌、车系及配置参数的文本数据；本发明中，通过对已知汽车文本数据进行数据预处理，先按车分组，再按车龄分组，得到每一辆车5年的保值率；其中，将每一辆车的文本数据进行分词及词向量映射后，作为编码器-解码器模型的输入序列；将每一辆车5年保值率作为编码器-解码器模型的真实输出值；利用处理后的数据来训练模型；训练过程采用反向传播，反向传播不会得到预测输出值，其为一种计算梯度的方法；具体的，计算损失函数对最后一层网络权重的梯度，再跟进链式法则来计算倒数第二层网络权重的梯度，以此类推获取所有层网络权重的梯度。

步骤53、根据预测输出值与真实输出值，构建损失函数，并计算损失函数值；其中，损失函数的表达式为：

其中，L为损失函数，m为已知汽车文本数据的样本个数，y_i为已知汽车文本数据的样本真实输出值，为已知汽车文本数据的样本预测输出值，i为已知汽车文本数据的样本编号。

步骤54、判断损失函数值是否收敛至预设值；

步骤55、若损失函数值未收敛至预设值，则对编码器-解码器模型的模型参数进行更新，直至损失函数值收敛至预设值，保存对应的模型参数，得到训练后的编码器-解码器模型。

与大多数深度学习算法类似，本实施例中的编码器-解码器模型需采用大量的已标记汽车文本数据进行训练；其中使用反向传播，在这反向传播中会根据损失来调整模型参数，故需要构建损失函数。

本实施例中，采用门循环单元变体CURG搭建的双层编码器，双层编码器的第一层将每个时刻输入的词向量编码为中间隐藏状态；该中间隐藏状态作为双层编码器的第二层的输入；双层编码器的第二层根据中间隐藏状态，得到双层编码器的最终隐藏状态；其中，双层编码器的第一层和第二层的初始隐藏状态均为零向量；通过在双层编码器与双层解码器之间添加软注意力机制，在软注意力机制的作用下，双层解码器根据上一时刻的隐藏状态和双层编码器的所有时刻的隐藏状态计算当前时刻的注意力；双层解码器利用当前时刻的注意力，计算得到最佳的当前时刻的隐藏状态；采用门循环单元变体CURG搭建的双层解码器，双层解码器在软注意力机制的作用下，根据上一时刻的隐藏状态和双层编码器所有时刻的隐藏状态，计算当前时刻注意力，双层解码器利用每个时刻的注意力和每个时刻的输入，计算每个时刻的输出；其中，双层解码器每个时刻的输出即为所述的汽车未来保值率预测结果。

本实施例中，双层解码器的第一层和第二层的初始隐藏状态分别设置为最后一个时刻编码器的第一层和第二层的隐藏状态；由于新车初始时刻的保值率为100％，因此，双层解码器的初始输入设置为1.0。

步骤6、将文本序列的词向量矩阵作为编码器-解码器模型的输入，并获取编码器-解码器模型的输出，即得到待预测汽车的未来保值率预测结果。

本实施例中，将文本序列的词向量矩阵作为编码器-解码器模型的输入过程，采用将文本序列的词向量矩阵中的每一行词向量分别作为双侧编码器每个时刻的输入，双层解码器在软注意力机制的作用下，根据上一时刻的隐藏状态和双层编码器所有时刻的隐藏状态，计算当前时刻的注意力；双层解码器利用每个时刻的注意力和每个时刻的输入，计算每个时刻的输出，即得到所述的汽车未来保值率预测结果。

本发明所述的汽车未来保值率预测方法，采用基于门循环单元变体的编码器-解码器模型，并在编码器-解码器模型中添加软注意力机制，减少人们收集和处理结构化的历史数据的成本，利用文本数据来预测新车未来的保值率可以放大离散数据的作用，更符合人们对于品牌效应的认知；其中，门循环单元变体采用在门循环单元基础之上去掉了重置门以及更新门对候补隐藏状态的过滤数据流，提升了门循环单元的精度和训练速度，其中每个样本的训练速度可以提升22.8％，精度可以在门循环单元之上提升少许。

本发明中，基于门循环单元变体的编码器-解码器模型属于循环神经网络范畴，双层解码器以门循环单元变体为基模型，双层解码器在解码过程中能够充分发挥循环神经网络特有的对于时序的理解，体现了新车未来的保值率之间的时序性。

上述实施例仅仅是能够实现本发明技术方案的实施方式之一，本发明所要求保护的范围并不仅仅受本实施例的限制，还包括在本发明所公开的技术范围内，任何熟悉本技术领域的技术人员所容易想到的变化、替换及其他实施方式。