数据标注方法、装置、电子设备及计算机可读存储介质
技术领域
本公开涉及人工智能
技术领域
,特别涉及计算机视觉和自然语言处理等领域的数据标注方法、装置、电子设备及计算机可读存储介质。背景技术
富文档内包含了丰富的数据,如可包括文本内容、表格内容和图片内容等,这些丰富的数据正是人工智能算法所需的。
但如何对富文档中的数据进行标注,以便人工智能算法进行学习等,目前还没有一种较好的实现方式。
发明内容
本公开提供了数据标注方法、装置、电子设备及计算机可读存储介质。
一种数据标注方法,包括:
对待处理的富文档进行解析,根据解析结果生成所述富文档中包括的内容类型对应的标注界面;
根据用户针对所述标注界面执行的操作生成键值对,将得到的键值对作为数据标注结果。
一种数据标注装置,包括:解析模块以及标注模块;
所述解析模块,用于对待处理的富文档进行解析,根据解析结果生成所述富文档中包括的内容类型对应的标注界面;
所述标注模块,用于根据用户针对所述标注界面执行的操作生成键值对,将得到的键值对作为数据标注结果。
一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如以上所述的方法。
一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使计算机执行如以上所述的方法。
一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如以上所述的方法。
上述公开中的一个实施例具有如下优点或有益效果:可通过对富文档进行解析生成标注界面,并可基于用户对标注界面执行的操作生成键值对,从而方便高效地实现了对于富文档中的各类型数据的标注。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1为本公开所述数据标注方法实施例的流程图;
图2为本公开所述文本内容的示意图;
图3为本公开所述表格内容的示意图;
图4为本公开所述所展示的图片内容中的文字信息的示意图;
图5为本公开所述数据标注装置实施例500的组成结构示意图;
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
另外,应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
图1为本公开所述数据标注方法实施例的流程图。如图1所示,包括以下具体实现方式。
在步骤101中,对待处理的富文档进行解析,根据解析结果生成富文档中包括的内容类型对应的标注界面。
在步骤102中,根据用户针对标注界面执行的操作生成键值(key-value)对,将得到的键值对作为数据标注结果。
上述方法实施例所述方案中,可通过对富文档进行解析生成标注界面,并可基于用户对标注界面执行的操作生成键值对,从而方便高效地实现了对于富文档中的各类型数据的标注。
富文档中包括的内容类型可包括以下之一或任意组合:文本内容、表格内容和图片内容等。
相应地,对富文档进行解析后,可根据解析结果生成富文档中包括的不同内容类型分别对应的标注界面。如何进行解析不作限制。
其中,当富文档中包括文本内容时,可生成对应的文本标注界面,文本标注界面中包括所述文本内容。当富文档中包括表格内容时,可生成对应的表格标注界面,表格标注界面中包括所述表格内容。当富文档中包括图片内容时,可生成对应的图片标注界面,图片标注界面中包括所述图片内容。
通过上述介绍可以看出,针对不同的内容类型,可分别生成对应的标注界面,从而实现了针对不同内容类型的区分化处理,使得处理更具针对性等。
以下分别对不同内容类型的处理方式进行说明。
1)文本内容
如前所述,针对文本内容,可生成对应的文本标注界面。
针对文本标注界面中所展示的文本内容,可获取用户从中选定的作为键及对应的值的内容,根据获取到的内容生成键值对。
图2为本公开所述文本内容的示意图。如图2所示,其中的“甲方”即为键,“一二三建筑工程有限公司”为“甲方”对应的值,类似地,“乙方”为键,“ABC建材销售有限公司”为“乙方”对应的值。
用户如何选定作为键及对应的值的内容可根据实际需要而定。比如,作为一种可能的实现方式,可在文本标注界面展示两个按钮,为便于表述,分别称为按钮a和按钮b,当用户点击按钮a后,表示用户将要进行键的选择,相应地,可将用户之后从文本标注界面中所展示的文本内容中划选出的内容作为键,假设之后用户点击了按钮b,那么表示用户将要进行值的选择,相应地,可将用户之后从文本标注界面中所展示的文本内容中划选出的内容作为值,进而可根据获取到键和值生成一个键值对。
在实际应用中,一个键可能对应多个值,那么重复执行上述点击按钮b以及划选作为值的内容的操作即可,每重复一次,即可得到一个值。当用户重新点击按钮a时,则表示要生成新的键值对,并进行新的键的选择。
以上介绍的是当键和对应的值均在文本内容中出现时如何生成键值对,有些情况下,文本内容中可能仅出现了值,而未出现键,对于这种情况,可采用以下处理方式。
针对文本标注界面中所展示的文本内容,获取用户从中选定的作为值的内容,并确定出获取到的值对应的键,根据确定出的键及获取到的值生成键值对。
作为一种可能的实现方式,用户可预先定义一个或多个键,比如,定义的一个键为“甲方”,那么可点击该键对应的按钮,表示将要进行该键对应的值的选择,相应地,可将用户之后从文本标注界面中所展示的文本内容中划选出的内容作为该键对应的值,进而生成一个键值对。
通过上述介绍可以看出,在基于文本标注界面生成键值对时,既可支持键和对应的值均在文本内容中出现的情况,又可支持用户自定义键并在文本内容中选定对应的值的方式,即对于各种情况均有较好的适用性。
2)表格内容
针对表格内容,可生成对应的表格标注界面。
针对表格标注界面上所展示的表格内容中的各单元格,可分别获取用户设定的类别,所述类别可包括键和值,并可获取用户设定的类别为键的单元格对应的值所在的方向信息,根据用户所作设定生成键值对。
图3为本公开所述表格内容的示意图。如图3所示,针对其中的每个单元格,可分别设定其类别,所述类别可包括键和值,另外还可包括其它等,如图3中所示的浅灰色的单元格的类别为键,白色的单元格的类别为值,深灰色的单元格的类别为其它(既不是键也不是值),箭头表示类别为键的单元格对应的值所在的方向信息。
作为一种可能的实现方式,在表格标注界面中,可在每个单元格上的预定位置展示一个按钮,用户点击任一按钮后,可展示出可供用户选择的类别,如可包括键、值和其它等,用户点击相应的类别后,即可将用户所点击的类别作为该按钮对应的单元格的类别。另外,针对每个单元格,还可分别展示一个用于进行方向选择的按钮,类似地,当用户点击任一按钮后,可展示出可供用户选择的方向信息,如可包括上、下、左、右等,用户点击相应的方向信息后,即可将用户所点击的方向信息作为该按钮对应的单元格(类别为键)对应的值所在的方向信息。
根据用户的操作,可相应的生成键值对。在实际应用中,对于一个键值对来说,其中可能仅包括一个键和一个值,也可能包括一个键和多个值,也可能包括多个键和一个值,还可能包括多个键和多个值等。
可以看出,采用上述处理方式,用户可针对每个单元格分别进行处理,简单方便,从而提升了数据标注效率,并具有普遍适用性,如对于简单的一维表格和复杂的多维表格等均可适用。
3)图片内容
针对图片内容,可生成对应的图片标注界面。
针对图片标注界面中所展示的图片内容中的文字信息,可获取用户从中选定的作为键及对应的值的内容,根据获取到的内容生成键值对。
图4为本公开所述所展示的图片内容中的文字信息的示意图。如图4所示,对于图片内容,即图片形式的数据,可通过光学字符识别(OCR,Optical Character Recognition)技术识别出图片中的各文字及其位置,并可将识别出的各文字的位置通过矩形框框出,类似于文本标注界面,可在图片标注界面中展示两个按钮,用户针对两个按钮的点击操作分别表示用户将要进行键和值的选择,相应地,用户可分别框选出键和值的内容,进而生成键值对,如键为“进口口岸”,对应的值为“**机场”等。
通过上述处理,用户可直接在图片上进行键和值的选择,灵活方便,从而提升了数据标注效率等。
无论通过上述哪种方式得到的键值对,均可按照预定格式对其进行存储。具体采用何种格式不作限制,如可为便于人工智能算法进行学习的数据格式等。
另外,针对任一键值对,还可分别存储以下信息之一或全部:位置信息,方向信息。其中,位置信息为键值对中的键和/或值在富文档中的位置信息,如所在页面、段落等,方向信息为键值对中的值相对于键的方向信息。
针对任一键值对,若能够获取到位置信息,则可存储获取到的位置信息,否则,可不存储位置信息,类似地,若能够获取到方向信息,则可存储获取到的方向信息,否则,可不存储方向信息。
按照上述方式对键值对进行统一存储后,可方便后续对其进行管理和使用等。
需要说明的是,对于前述的方法实施例,为了简单描述,将其表述为一系列的动作组合,但是本领域技术人员应该知悉,本公开并不受所描述的动作顺序的限制,因为依据本公开,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本公开所必须的。
以上是关于方法实施例的介绍,以下通过装置实施例,对本公开所述方案进行进一步说明。
图5为本公开所述数据标注装置实施例500的组成结构示意图。如图5所示,包括:解析模块501以及标注模块502。
解析模块501,用于对待处理的富文档进行解析,根据解析结果生成富文档中包括的内容类型对应的标注界面。
标注模块502,用于根据用户针对标注界面执行的操作生成键值对,将得到的键值对作为数据标注结果。
富文档中包括的内容类型可包括以下之一或任意组合:文本内容、表格内容和图片内容等。
相应地,解析模块501对富文档进行解析后,可根据解析结果生成富文档中包括的不同内容类型分别对应的标注界面。
其中,解析模块501可在富文档中包括文本内容时,生成对应的文本标注界面,文本标注界面中包括所述文本内容,当富文档中包括表格内容时,生成对应的表格标注界面,表格标注界面中包括所述表格内容,当富文档中包括图片内容时,生成对应的图片标注界面,图片标注界面中包括所述图片内容。
进一步地,标注模块502可根据用户针对标注界面执行的操作生成键值对,将得到的键值对作为数据标注结果。
比如,标注模块502可针对文本标注界面中所展示的文本内容,获取用户从中选定的作为键及对应的值的内容,根据获取到的内容生成键值对,和/或,针对文本标注界面中所展示的文本内容,获取用户从中选定的作为值的内容,并确定出获取到的值对应的键,根据确定出的键及获取到的值生成键值对。
再比如,标注模块502可针对表格标注界面上所展示的表格内容中的各单元格,分别获取用户设定的类别,所述类别包括键和值,并获取用户设定的类别为键的单元格对应的值所在的方向信息,根据用户所作设定生成键值对。
再比如,标注模块502可针对图片标注界面中所展示的图片内容中的文字信息,获取用户从中选定的作为键及对应的值的内容,根据获取到的内容生成键值对。
无论通过上述哪种方式得到的键值对,标注模块502均可按照预定格式对其进行存储。具体采用何种格式不作限制,如可为便于人工智能算法进行学习的数据格式等。
另外,针对任一键值对,标注模块502还可分别存储以下信息之一或全部:位置信息,方向信息。其中,位置信息为键值对中的键和/或值在富文档中的位置信息,如所在页面、段落等,方向信息为键值对中的值相对于键的方向信息。
针对任一键值对,若能够获取到位置信息,则可存储获取到的位置信息,否则,可不存储位置信息,类似地,若能够获取到方向信息,则可存储获取到的方向信息,否则,可不存储方向信息。
图5所示装置实施例的具体工作流程请参照前述方法实施例中的相关说明,不再赘述。
总之,采用本公开装置实施例所述方案,可通过对富文档进行解析生成标注界面,并可基于用户对标注界面执行的操作生成键值对,从而方便高效地实现了对于富文档中的各类型数据的标注等。
本公开所述方案可应用于人工智能领域,特别涉及计算机视觉和自然语言处理等领域。
人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术,人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术,人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字助理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如本公开所述的方法。例如,在一些实施例中,本公开所述的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行本公开所述的方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行本公开所述的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决传统物理主机与虚拟专用服务器(VPS)中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。云计算指的是通过网络接入弹性可扩展的共享物理或虚拟资源池,资源可以包括服务器、操作系统、网络、软件、应用和存储设备等,并可以以按需、自服务的方式对资源进行部署和管理的技术体系,通过云计算技术,可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:一种以图搜图的方法及系统