具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。

本申请实施例提供了一种账单核算方法，请参考图1，图1为本申请实施例提供的一种账单核算方法的流程示意图，该账单核算方法的具体步骤可以如下：

步骤S12：基于光学字符识别从账单图像中提取文本信息。

在金融的信贷业务中，比如经营贷，通常需要对用户上传的经营分析数据进行核对，以确保用户上传的资料和数据是真实的，这时候用户可能上传一个图片或者一段录制的视频，如果没有自动对账功能，则需要业务人员利用计算器或者纸张对每个页面的数据进行加减运算，以确保用户提供信息的真实性，这种方式效率低下，不能实现自动化。因此本实施例可以通过光学字符识别(Optical Character Recognition，OCR)进行文本提取。请参考图2，图2为本申请实施例提供的一种光学字符识别文本提取步骤的流程示意图，该光学字符识别文本提取步骤具体可以如下：

步骤S121：通过光学字符识别模型提取账单图像的图片或图像帧中的账单关键字。

可选地，本实施例可以根据用户上传的账单图像的文件名，区分用户上传的数据为图片还是视频。此外，本实施例也可以通过文件格式扫描等方式确定用户上传数据的类型。

本实施例中接收的用户上传的账单图像中图像的常见格式可以有jpg(JointPhotographic Experts Group)和png(Portable Network Graphics，便携式挽留过图形)等，常见的视频格式可以有avi(Audio Video Interleaved，音频视频交错格式)、mov(影片格式)、rmvb(RealMedia Variable Bitrate)、rm(RealMedia file format)、flv(FlashVideo，流媒体格式)、mp4(Moving Picture Experts Group 4，动态图像专家组)和3gp(3GP file format)等。

在账单图像为图片时，可以采用光学字符识别模型对图片抽取账单关键字进行账单确认。

在账单图像为视频时，可以采用OpenCV的VideoCapture方法加载视频，循环获取每一帧，把每帧结果(即图像帧)存入图像表单(List)中，然后对每个图像帧调用光学字符识别模型抽取关键字进行账单确认。

可选地，本实施例中可以采用光学字符识别进行账单关键字的提取，光学字符识别是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，然后用字符识别方法将形状翻译成计算机文字的过程，即对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。本实施例中可以通过光学字符识别模型进行账单关键字的提取，请参考图3，图3为本申请实施例提供的一种光学字符识别模型构建步骤的流程示意图，该光学字符识别模型构建步骤可以如下：

步骤S111：获取训练账单图片。

上述训练账单图片可以是包含收入数据、支出数据等账单数据的图片。

步骤S112：通过文本框标注训练账单图片中对应的文本，以获得标注训练数据。

步骤S113：采用标注训练数据，基于深度学习训练获得文本框检测模型，文本框检测模型用于检测出文本框。

步骤S114：采用标注训练数据，基于卷积递归神经网络训练获得文本识别模型，文本识别模型用于识别账单图像中的文本信息。

卷积递归神经网络(Convolutional Recurrent Neural Network，CRNN)是一种卷积循环神经网络结构，用于解决基于图像的序列识别问题，特别是场景文字识别问题。主要用于端到端地对不定长的文本序列进行识别，不用先对单个文字进行切割，而是将文本识别转化为时序依赖的序列学习问题，就是基于图像的序列识别。

可选地，本实施例中文本识别模型对账单图像中的文本信息的识别结果可以通过示例数据说明，以表示支出收入为例：[[[30.0,390.0],[470.0,390.0],[470.0,423.0],[30.0,423.0]],['支出￥16,262.69收入￥2,981.58',0.94432557]]，前面的4个列表点表示文本框的位置坐标点，最后一个列表表示识别出的文本和概率。

步骤S122：基于图片中的账单关键字确定图片或图像帧是否属于账单。

可选地，本实施例中可以将包含“收入”、“支出”、“账单”以及“总计”等关键字的图片或图像帧判定为账单。

步骤S123：将属于账单的图片或图像帧存入图像列表。

可选地，本步骤S123的图像列表和上述保存图像帧的图像列表可以不是同一列表。

步骤S124：通过光学字符识别模型提取图像列表中图片或图像帧的文本信息。

本实施例中通过光学字符识别模型对图像列表中图片或图像帧所包含的文本进行提取。

应当理解的是，通过光学字符识别模型从账单中提取的文本较多，需要基于一定的配置提取其中的有效信息，提取的有效信息可作为核对账单的基础数据，其余无用的数据可以剔除掉。不同的账单类型，其格式有所不同，因此为了满足适应不同的账单有效信息提取接下来执行对账单有效信息的配置化抽取步骤S14。

步骤S14：提取文本信息中的账单基础数据。

请参考图4，图4为本申请实施例提供的一种账单基础数据提取步骤的流程示意图，该账单基础数据提取步骤具体可以如下：

步骤S141：将文本信息封装至账单文本列表中。

步骤S142：确定账单文本列表的匹配参数。

可选地，本实施例中可以通过配置页面进行匹配参数的设置，例如配置页面的左边区域为提取出的文本真实示例，右边为抽取有效信息的参数配置，该匹配参数可以包括表示总输入/输出的关键字、匹配之后的分隔符、账单基础数据项的文本间隔以及账单基础数据在间隔中的索引。

步骤S143：基于匹配参数提取文本信息中的账单基础数据。

不同的账单在表示收入和支出等操作时，输入的名称可能不同，格式也会有所不同，因此需要根据具体账单类型对匹配参数进行设置，然后基于匹配参数提取文本信息中的账单基础数据。

具体地，本实施例中步骤S143可以包括如下子步骤：

步骤S1431：根据账单关键字分别确定账单文本列表中不同操作的文本项。

可选地，根据配置的关键字正则匹配表示输入输出等不同操作的文本项。

步骤S1432：对不同操作的文本项标记索引。

步骤S1433：通过分隔符对不同操作的文本项进行分隔。

本实施例中对索引进行标记后，依据配置的分隔符进行分隔，从而得到不同操作的文本项的数值，例如总输入和总输出值等。

步骤S1434：从索引开始，基于文本间隔和索引提取需要核对的不同操作对应的数值作为基础数据组装为账单数据列表，将账单数据列表作为账单基础数据。

对账单文本列表进行循环，从索引开始，根据配置的间隔参数和间隔内的基础数据索引参数，动态的抽取要核对的基础数据，把基础数据装成新的账单数据列表作为账单基础数据。

以账单为例，支出和收入分别表示总输出和总输入，根据前面的￥符号分隔出具体的收入数据和支出数据，并根据间隔内的数据索引，获取账单的明细数据。

步骤S16：基于领域专用语言对账单基础数据进行账单核算，以完成账单基础数据的收入和支出的核对。

请参考图5，图5为本申请实施例提供的一种账单核算步骤的流程示意图，该账单核算步骤可以如下：

步骤S161：遍历账单基础数据中的每一个变量。

基于提取出来的账单基础数据，循环遍历账单基础数据中的每一个变量。

步骤S162：基于不同操作类型将每一个变量进行分类，并基于文本间隔将不同分类的变量分别组装成Map结构数据。

针对其对应变量值进行不同操作，例如针对收入和支出的数据，如果值<0，则表示支出，如果值>0，则表示收入，对账单基础数据按照收入和支出进行分组。

接下来把数据组装成分组后的Map结构，如第一项提取出数值100，命名为var1，则放入posMap中，第二项提取出数值-88，命名为var2，则放入negMap中，依次类推，并把每个Map的key值组装求和字符串posStr，negStr。

步骤S163：调用领域专用语言计算接口，传入Map结构数据与求和公式，以获取求和计算结果。

领域特定语言(Domain-Specific Language，DSL)指的是专注于某个应用程序领域的计算机语言。

应当理解的是，在调用领域专用语言计算接口之前，需要对领域专用语言计算接口进行构建。

具体地，首先基于领域专用语言构建进行加法和减法运算的表达式计算引擎，由于数据中有正有负，需要计算的数据项多少不一，因此使用DSL编写了一个进行加法和减法运算的表达式计算引擎。

上述表达式计算引擎继承Java的JavaTokenParsers，获取表达式的运算符，使用Scala的解析组合子定义加法和减法的自动识别逻辑，如下代码所示：

该表达式计算引擎根据不同运算符，实现不同的计算逻辑，以加法为例，数据类型不同，调用不同的数据转换逻辑实现加法，加法的实现如下所示：

然后封装表达式计算引擎的计算接口，具体可以采用：double getValue(Map<String,double>,String str)。

步骤S164：将求和计算结果与不同操作对应的数值进行核对。

调用计算接口getValue，传入Map结构数据和求和公式，获取计算结果，与不同操作对应的数值进行核对，从而自动识别账单信息真伪，不用借助人工或者其他工具进行一一计算核对，提升账单信息核对的效率。

为了配合本申请实施例提供的上述账单核算方法，本申请实施例还提供了一种账单核算装置20，请参考图6，图6为本申请实施例提供的一种账单核算装置的模块示意图。

账单核算装置20包括：

文本信息提取模块21，用于基于光学字符识别从账单图像中提取文本信息；

基础数据提取模块22，用于提取文本信息中的账单基础数据；

核算模块23，用于基于领域专用语言对账单基础数据进行账单核算，以完成账单基础数据的收入和支出的核对。

可选地，文本信息提取模块21具体用于：通过光学字符识别模型提取账单图像的图片或图像帧中的账单关键字；基于图片中的账单关键字确定图片或图像帧是否属于账单；将属于账单的图片或图像帧存入图像列表；通过光学字符识别模型提取图像列表中图片或图像帧的文本信息。

可选地，账单核算装置20还包括：模型构建模块，用于获取训练账单图片；通过文本框标注训练账单图片中对应的文本，以获得标注训练数据；采用标注训练数据，基于深度学习训练获得文本框检测模型，文本框检测模型用于检测出文本框；采用标注训练数据，基于卷积递归神经网络训练获得文本识别模型，文本识别模型用于识别账单图像中的文本信息。

可选地，基础数据提取模块22具体用于：将文本信息封装至账单文本列表中；确定账单文本列表的匹配参数；基于匹配参数提取文本信息中的账单基础数据。

可选地，基础数据提取模块22具体用于：根据账单关键字分别确定账单文本列表中不同操作的文本项；对不同操作的文本项标记索引；通过分隔符对不同操作的文本项进行分隔；从索引开始，基于文本间隔和索引提取需要核对的不同操作对应的数值作为基础数据组装为账单数据列表，将账单数据列表作为账单基础数据。

可选地，核算模块23具体用于：遍历账单基础数据中的每一个变量；基于不同操作类型将每一个变量进行分类，并基于文本间隔将不同分类的变量分别组装成Map结构数据；调用领域专用语言计算接口，传入Map结构数据与求和公式，以获取求和计算结果；将求和计算结果与不同操作对应的数值进行核对。

可选地，核算模块23具体用于：基于领域专用语言构建进行加法和减法运算的表达式计算引擎，表达式计算引擎通过继承Java的JavaTokenParsers以获取表达式的运算符，使用Scala的解析组合子定义加法和减法的识别逻辑；对表达式计算引擎进行封装，以获得计算接口。

本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行本实施例提供的账单核算方法中任一项所述方法中的步骤。

应当理解是，该电子设备可以是个人电脑(Personal Computer，PC)、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)等具有逻辑计算功能的电子设备。

本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行账单核算方法中的步骤。

综上所述，本申请实施例提供了一种账单核算方法、装置、电子设备及存储介质，所述方法包括：基于光学字符识别从账单图像中提取文本信息；提取所述文本信息中的账单基础数据；基于领域专用语言对所述账单基础数据进行账单核算，以完成所述账单基础数据的收入和支出的核对。

在上述实现方式中，通过光学字符识别对客户上传的数据进行自动文本提取，基于领域专用语言进行数据的运算，并把计算结果和要核对的目标进行比较，从而实现账单的自动核对，解决了资金流水信息核对时需要人工确认的问题，无需审核者人工计算正确性，自动化的识别账单中的信息，并进行自动化的流水核对，大大的提高了基于图片/视频进行资金流水核对的效率，可为金融或者其他业务场景提供自动化的账单核对功能，提升账单核对的效率，用技术提高了账单核对的效率。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RanDom Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。