具体实施方式

以下将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

本申请使用的“模块”、“装置”等术语旨在包括与计算机相关的实体，例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如，模块可以是，但并不仅限于：处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说，计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/ 或线程内，一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。

本发明的发明人发现，现有的翻译方案中，虽然输入对象可以是文本、语音、图片，但是翻译的对象只有文本，包括从语音识别出的文本，或者是从图片中提取的文本。而实际应用中，若只翻译文本，用户有时仍然无法真正理解被翻译的对象。例如国外药店的药品名，或者国外商店中具有浓厚本地化命名特点的商品名等，即使翻译了名称，用户可能也难以理解。而且，在极端情况下，用户希望翻译的内容甚至可能并没有文字，例如在国外自驾游时遇到的各种各样的驾驶标识牌。因此，文本的翻译无法完全覆盖翻译任务的需求，只翻译文本是无法真正满足用户的翻译需求的。

因此，本发明的发明人考虑，可以基于获取的源端物体信息，翻译得到与源端物体对应的目标端物体信息。比如，可以基于获取的源端物体信息，识别待翻译的源端物体；针对识别出的源端物体，翻译得到对应的目标端物体信息。之后，输出翻译得到的目标端物体信息。这样，可以将用户不熟悉的国外的源端物体，比如，药品，食品，化妆品，路标指示牌等，翻译成用户熟知的国内对应的目标端物体；或者交换翻译方向，将国内的源端物体翻译成目标国家的对应目标端物体，以此满足用户对物体的翻译需求，扩展机器翻译对象的范围，增强翻译的适用性。

下面结合附图详细说明本发明的技术方案。

实施例一

本发明的实施例一提供了一种物体信息翻译方法，如图1所示，其具体流程可以包括如下步骤：

S101：基于获取的源端物体信息，识别待翻译的源端物体。

本技术领域技术人员可以理解，本发明的方案中，“物体”是指可以通过传感器对其形态进行捕捉，并可以通过语言进行描述的个体。

本发明的方案中，可以将待翻译的物体称为源端物体，翻译后的物体称为目标端物体。其中，待翻译的源端物体为一个或多个；源端物体为多个时，多个源端物体可以是属于同一类别的组合物体，也可以是属于不同类别的多个物体。后续将在实施例二中分别详细介绍单个源端物体和多个源端物体的翻译方案。

源端物体信息是指源端物体相关的信息，可以包括如下至少一种模态：文字、图片、音频、视频等。

实际应用中，源端物体信息可以由终端直接捕捉获取，比如通过摄像头进行拍摄获取。或者，也可以从网络或其他设备获取传输的源端物体相关的信息。获取的源端物体信息可以包含下述至少一项：源端物体对应的多媒体信息、从源端物体对应的多媒体信息中识别出的文本信息、源端物体对应的位置信息、搜索到的源端物体相关信息、用户输入的源端物体相关信息。

源端物体信息包含源端物体对应的多媒体信息时，可以通过下述方式获取源端物体信息：通过多媒体采集设备实时采集多媒体信息，并将实时采集的多媒体信息作为源端物体信息。

其中，源端物体对应的多媒体信息可以包括且不限于下述至少之一：物体图像、物体音频信息、物体视频信息等。

而源端物体信息中包含的搜索到的源端物体相关信息，可以为从网络侧搜索到的源端物体相关的信息。例如，当识别结果不准确时，或者当源端物体信息不完整时，可以搜索相关信息(从网络侧搜索或从本地存储的资源中搜索)，或者提示用户输入源端物体相关信息，以便准确识别出待翻译的源端物体。

源端物体信息中包含的源端物体对应的位置信息，可以用来优化进行翻译的处理模型(如物体对齐模型)，从而根据位置信息得到更加准确的翻译结果。

进一步地，源端物体信息还可以进一步获取包括用户个人信息，以便后续基于用户个人信息进行个性化翻译。

其中，终端包括智能手机、PAD(portable android device，便携式安卓设备)等移动设备，也可以包括智能手表、智能眼镜等可穿戴式设备。

获取源端物体信息之后，可以基于获取的源端物体信息，提取图像特征和/或文本特征；根据提取的图像特征和/或文本特征，识别出待翻译的源端物体。例如，可以根据预设的物体识别模型，提取的图像特征和/或文本特征，识别出待翻译的源端物体。

其中，物体识别模型是预先构建的，具体可以通过下述方式构建：

针对预设的多个采样物体，收集各采样物体的多模态数据；从多模态数据中提取采样物体的图像特征和/或文本特征；基于采样物体的图像特征和文本特征，学习训练得到物体识别模型。

其中，采样物体的多模态数据至少包括如下一种数据：

采样物体相关的文字、图片、音频、视频等。

进一步地，物体识别模型可以是通过下述方式预先构建的：针对每个物体类别，基于属于该物体类别的各采样物体的图像特征和/或文本特征，训练得到该物体类别所对应的物体识别模型。

这样，在基于获取的源端物体信息提取图像特征和/或文本特征之后，可以根据提取的图像特征和/或文本特征，识别待翻译的源端物体的物体类别；根据该物体类别所对应的物体识别模型，以及提取的图像特征和/ 或文本特征，识别出待翻译的源端物体。

本发明的发明人发现，机器翻译质量对于输入文本的正规化程度、数据库和模型规模的依赖度很高，因此现有的商用机器翻译技术通常需要网络、云服务的支持，以及文本规范化处理。但是对于很多极端条件，比如网络受限、设备电量不足、输入的文字/声音/图像信息不完整等，目前机器翻译技术并未考虑，造成用户的使用体验欠佳。

因此，本发明可以提供物体信息翻译方法在极端条件下的优化方案，包括解决输入物体信息不完整的方案，节省流量和电池的方案，以及设备在不同条件下的物体信息翻译输出方案，详情可参见后续的实施例七。

考虑到，信息不完整的场景，可能导致基于获取的源端物体信息无法识别出待翻译的源端物体，或者识别结果不准确。

因此，为保证物体的输入信息的完整性及识别结果的准确性，本发明实施例一中，在基于获取的源端物体信息，提取图像特征和/或文本特征之后，若基于提取的图像特征和/或文本特征未识别出待翻译的源端物体，则可以基于提取的图像特征和/或文本特征，获取与待翻译的源端物体相关的其他信息(如文字和/或图片信息)。继而，根据预设的物体识别模型、提取的图像特征和/或文本特征，以及获取的文字和/或图片信息，准确识别出待翻译的源端物体。

其中，与待翻译的源端物体相关的文字和/或图片信息可通过如下至少一种方式获取：

基于提取的图像特征和/或文本特征进行网络搜索；

基于提取的图像特征和/或文本特征，对本地预存的图片和/或文字进行匹配查找；

获取用户输入的源端物体相关信息，如文字和/或图片信息。

例如，终端设备将采集的图片信息、文字信息、或者音频信息，然后将音频转化为文字，然后进行物体识别；若终端设备收集到的源端物体信息不足以识别物体，则启动网络搜索引擎，对图片和文字进行查找匹配，得到更多有关物体的图片和文字，然后再将获得的图片和文字信息经过过滤规范化处理后进行识别，若仍无法识别则输入更多的图片或者文字信息，重复此过程，直至识别出源端物体为止，或者重复次数超过阈值。实际应用中，针对菜品翻译的特点，比如通常菜品(熟食)没有产品包装，极端情况下，甚至只在菜单上罗列出菜品名称，通过上述针对输入物体信息不完整的翻译方案，可实现对源端菜品的匹配识别。

S102：针对识别出的源端物体，翻译得到对应的目标端物体信息。

具体地，可以确定源端物体和目标端物体分别对应的语言环境；之后，基于源端物体和目标端物体分别对应的语言环境，翻译得到与源端物体对应的目标端物体信息。

其中，源端物体对应的语言环境和目标端物体对应的语言环境不同。

实际应用中，语言环境可以表现为语言种类。例如，当源端物体和目标端物体中存在文本内容时，文本内容的语言种类不同。或者，当源端物体和目标端物体不包含文本时，如只包含图案，源端物体和目标端物体所处的环境的语言种类不同，例如处于不同国家的交通标识牌。

实际应用中，在识别出源端物体后，可以确定翻译方向；而翻译方向可以通过根据源端物体的源端语言和翻译后的目标端语言确定。其中，源端物体的源端语言具体是指源端物体对应的语言环境；而目标端语言具体是指与源端物体对应的目标端物体所对应的语言环境。

本发明实施例一中，源端物体对应的语言环境可以根据下述至少一项确定：

通过位置检测模块检测到的位置对应的语言环境、从获取的源端物体信息中识别出的语言环境、在预设的物体知识图谱数据库中搜索到的源端物体对应的语言环境、用户设置的语言环境。例如，通过GPS(Global Positioning System，全球定位系统)模块自动检测源端物体的所在国家和语言。

而目标端物体对应的语言环境可以根据下述至少一项确定：

通过位置检测模块检测到的位置对应的语言环境、预先指定的语言环境、用户设置的语言环境、基于用户个人信息确定出的语言环境。

例如，可以是预先指定系统的语言环境为目标端物体对应的语言环境。或者，检测到终端设备上用户设置目标端语言的行为，则将用户设置的目标端语言作为目标端物体对应的语言环境；若未检测到用户设置目标端语言的行为，则默认设备系统的语言环境为目标端物体对应的语言环境。

本发明实施例一中，在分别确定源端物体和目标端物体各自对应的语言环境之后，可以基于源端物体和目标端物体分别对应的语言环境，选择对应的物体对齐模型。

之后，基于选择的物体对齐模型，翻译得到与识别出的源端物体对应的目标端物体信息。具体地，可以基于源端物体信息，获取源端物体对应的文本特征和/或图像特征；基于获取的文本特征和/或图像特征，以及选择的物体对齐模型，翻译得到与识别出的源端物体对应的目标端物体信息。

其中，物体对齐模型是通过下述方式预先构建的：

确定采样源端物体与对应的采样目标端物体之间的文本特征和/或图像特征；根据确定出的所述文本特征和/或图像特征，训练得到物体对齐模型。

实际应用中，可以预先获取多个采样源端物体的多模态数据，以及各采样源端物体在不同翻译方向上对应的采样目标端物体的多模态数据；从多模态数据中提取出图像特征和/或文本特征；基于提取的图像特征和/或文本特征，确定采样源端物体与采样目标端物体之间的文本特征和/或图像特征；根据采样源端物体和采样目标端物体之间的文本特征和/或图像特征，学习训练得到物体对齐模型。其中，多模态数据至少包括如下一种数据：物体相关的文字、图片、音频、视频。

更优地，为了提高物体翻译质量，本发明实施例一中，物体对齐模型是可优化的。具体地，在通过本次物体信息翻译得到目标端物体信息之后，可以根据下述至少一项信息，优化物体对齐模型：

用户针对翻译得到的目标端物体信息的反馈信息、源端物体所对应的语言环境、目标端物体所对应的语言环境。

例如，可以收集针对目标端物体信息的用户行为数据；并将收集的用户行为数据作为反馈信息，更新优化物体对齐模型。具体地，可通过终端设备检测源端物体所在的位置信息，根据位置特点自动判断其是否是源端物体的一个来源，若是则将其加入到源端物体的知识图谱中的位置信息中。通过收集用户对于翻译候选列表的点击率，以及点赞率等一系列用户日志数据来更新对齐模型参数，若某个目标端物体得到较多的点击率或者点赞率，则增大其对齐概率，反之则降低其对齐概率。

更优地，本发明实施例一中，当待翻译的源端物体为多个时，识别出待翻译的源端物体之后，还可以检测各个源端物体的类别。若待翻译的各个源端物体属于同一类别的组合物体，则将所有的源端物体作为源端组合物体进行翻译。若待翻译的各个源端物体不属于同一类别，则可针对每个源端物体单独进行翻译，翻译得到各自对应的目标端物体信息。

具体地，在源端物体为多个，且多个源端物体属于同一类别的组合物体时，翻译得到与源端物体对应的目标端物体信息，可以通过下述至少一项实现：

针对多个源端物体对应的源端组合物体，翻译得到对应的目标端组合物体信息；

针对每个源端物体，分别翻译得到各自对应的目标端物体信息。

实际应用中，源端物体对应的目标端物体可以是一个或多个。因此，在源端物体为多个的情况下，可以针对每个源端物体，分别翻译得到各自对应的一个或多个目标端物体的相关信息。

更优地，本发明实施例一中，基于获取的源端物体信息，翻译得到与源端物体对应的目标端物体信息之前，可以预测用户的翻译意图，并根据用户的翻译意图预先存储用于离线翻译的处理模型。

这样，可以通过如下方式翻译得到与源端物体对应的目标端物体信息：基于获取的源端物体信息，利用存储的处理模型，翻译得到与源端物体对应的目标端物体信息。

其中，用户的翻译意图可根据下述至少一项信息预测得到：

用户日程、用户个人信息(比如兴趣、爱好)、设备所处环境信息、设备运动状态。

预测得到的翻译意图可包括：行动轨迹和/或待翻译的源端物体。

实际应用中，用于离线翻译的处理模型可以包括：用于离线翻译的物体识别模型、物体知识图谱数据库、物体对齐模型等。其中，可根据预测得到的翻译意图中涉及待翻译的源端物体的物体类别和行动轨迹，设置用于离线使用的物体知识图谱数据库，无需下载其它相关性较小的物体类别的物体知识数据，减小数据库规模。

例如，可以首先对系统中的预先设置的模型和数据库进行压缩和过滤，然后按照物体的类别对数据库进行分类。终端提前预测用户的翻译意图，在不耗费用户的移动网络数据流量的条件下下载相关的预先过滤、压缩、分类好的模型和数据库。

这样，当终端设备检测到目前使用移动网络数据流量时，可以优先考虑根据下载至本机的模型和数据库进行查找和翻译，减少了设备与云服务的通信，同时，由于数据库规模得到了大幅度减小，在翻译过程中的搜索空间减少，避免了大量的运算，从而电量得到了节省。后续将在实施例七中继续补充关于节省流量和电池的物体信息翻译方案。

S103：输出目标端物体信息。

本发明实施例一中，目标端物体信息可以以多模态方式输出。比如，可以通过下述至少一种方式输出目标端物体信息：文本、图像、音频、视频。进一步地，可以基于下述至少一项，自适应调节目标端物体信息的输出方式：用户操作、终端所处环境、网络情况、终端类型、电量情况。

其中，目标端物体信息包括且不限于以下至少之一：目标端物体的图片、名称、位置信息、价格信息、类别信息、相关的音频/视频信息等。

实际应用中，在源端物体信息为终端设备采集获取的情况下，翻译得到的目标端物体信息可通过如下方式进行显示输出：

分屏显示源端物体信息和目标端物体信息；或

利用增强现实显示技术，在源端物体信息的捕捉区显示目标端物体信息。

更优地，本发明实施例一中，可以基于下述至少一项，对翻译得到的目标端物体信息进行自适应调整，并输出调整后的目标端物体信息：

设备的设备类型、设备的存储状态、当前网络情况、设备的电量状态、用户个人信息。

更优地，本发明实施例一中，目标端物体信息可通过如下方式得到：获取待发送给接收方的源端物体信息；基于接收方的语言环境以及获取的源端物体信息，翻译得到与源端物体对应的目标端物体信息。之后，可以将翻译得到的目标端物体信息发送给接收方。

因此，本发明提供的翻译方法可适用于社交网络，在社交网络中进行自适应物体信息翻译。在翻译过程中可以收集社交网络用户的个人信息，如所在地区，国籍等，用以确定源端物体对应的语言环境和目标端物体对应的语言环境，即确定出物体信息的翻译方向。然后，针对每个翻译方向给出对应的翻译结果。其中，翻译方向由源端物体对应的语言环境和目标端物体对应的语言环境确定；在一次社交过程中，针对同一源端物体，可以根据查看翻译结果的各接收方所在地区、国籍的不同，可以确定不同的目标端物体的语言环境。

关于社交网络中进行物体信息翻译的方案，可参见后续提供的实施例五。

实际应用中，在目标端物体为多个时，可以对各目标端物体信息进行排列排序后输出。具体地，可以根据下述至少一项信息对各目标端物体信息进行排序：与源端物体的相关性、针对目标端物体信息的用户行为、目标端物体的属性信息、用户个人信息。

其中，用户个人信息中包含了用户的喜好等信息，还可以包含用户当前位置(可通过设备位置获取)等信息。目标端物体的属性信息可以包含价格等属性；根据用户个人信息和目标端物体的属性信息，可以综合判断用户的购买可能性。

例如，在目标端物体为多个时，可以基于与源端物体的相关性、用户点击频率、购买难易程度等排列上述多个目标端物体，从而按照优先级顺序排列目标端物体。上述用户点击频率的可以通过如下方式获取：收集用户对于目标端物体的操作日志，从日志数据中提取有关物体的点击次数，从而计算每个目标端物体的点击频率。上述购买难易程度的获取方法可以综合考虑根据当前终端位置与购买位置的距离远近，或者购买价格的高低等。

为了更直观地将翻译结果呈现给用户，即时地将用户需求进行反馈并快速响应，本发明实施例一中，若通过多媒体采集设备实时采集多媒体信息，并将实时采集的多媒体信息作为源端物体信息，则在源端物体为多个的情况下，还可以检测用户针对翻译得到的目标端物体信息的选择操作；并在实时采集的多媒体信息中定位出用户选择的目标端物体信息对应的源端物体。或者，也可以检测用户针对源端物体的选择操作，若检测到某个源端物体的选择操作，则可以按照预设输出方式，定位出用户选择的源端物体所对应目标端物体信息。

更优地，为了提高翻译质量，本发明实施例一中，还可以基于获取的源端物体信息，获取带众包翻译反馈权重的翻译结果；根据带众包翻译反馈权重的翻译结果，调整与源端物体对应的目标端物体信息。

其中，带众包翻译反馈权重的翻译结果可通过如下方式获取：

向预设的多个回答用户发送针对源端物体信息的众包翻译请求；收集各回答用户针对众包翻译请求反馈的翻译结果；根据回答用户的类别、翻译结果的出现频率，确定各翻译结果的众包翻译反馈权重。

更优地，本发明实施例一中，在得到目标端物体信息之后，可以基于对源端物体信息的用户操作，调整目标端物体信息的输出。

例如，用户操作具体为目标端物体的浏览模式的激活操作时，目标端物体信息可通过如下方式输出：通过多媒体采集设备实时采集多媒体信息；在实时采集的多媒体信息中定位出与源端物体对应的目标端物体。例如，实时捕捉多个物体的文字和/或图像；若捕捉的文字和/或图像中存在与该目标端物体匹配的物体，则利用浏览模式所对应的显示方式，对该物体进行标识显示。

源端物体为多个，且用户操作具体为目标端物体的多物体交互模式的激活操作时，可以检测被选中的目标端物体；将选中的目标端物体所对应的源端物体进行标识显示。

考虑到，传统的机器翻译技术通常只关注翻译本身，而在实际生活中，用户往往不仅需要翻译，更需要的是对翻译内容的理解以及相关知识的获取。例如，输入国外药品的名字，传统机器翻译只会根据输入进行相应地翻译，没有进一步理解翻译内容是否对应某个命名实体，如果是，那么是否需要给出其相关的有用信息比如功效、剂量、适用人群、乃至购买方式等。用户输入什么内容就翻译什么内容，这种被动的翻译方式无法真正满足用户的实际需求。

更优地，为了让用户更好地理解翻译内容，本发明实施例一提供的物体信息翻译方法中还可以包括衍生翻译的方案。具体地，可以获取目标端物体关联的衍生信息和/或源端物体关联的衍生信息；输出获取的衍生信息。

本发明实施例一中，目标端物体关联的衍生信息可通过如下方式获取：从预设的物体知识图谱数据库中，搜索目标端物体的预设属性对应的属性信息；将搜索到的属性信息确认为目标端物体关联的衍生信息。

相应地，源端物体关联的衍生信息可通过如下方式获取：从预设的物体知识图谱数据库中，搜索源端物体的预设属性对应的属性信息；将搜索到的属性信息确认为源端物体关联的衍生信息。

其中，预设属性是根据目标端物体和/或源端物体的类别确定的。

例如，目标端物体的衍生信息可以包括：通过预先构建的物体知识图谱数据库根据目标端物体的物体类别获取的目标端物体相关的关键信息。

进一步地，获取的衍生信息还可以包括：源端物体与对应目标端物体之间的对比信息，即同时显示源端物体的衍生信息和目标端物体的衍生信息。其中，对比信息由源端物体、对应的目标端物体各自相关的关键信息 (预设属性的属性信息)决定。与目标端物体相关的关键信息、以及与源端物体相关的关键信息可以通过预先构建物体知识图谱数据库获取。

因此，更优地，本发明实施例一中，还可以基于目标端物体对应的位置信息，确定目标端物体关联的衍生信息；基于源端物体对应的位置信息，确定源端物体关联的衍生信息。

本发明实施例一中，若获取了目标端物体关联的衍生信息和源端物体关联的衍生信息，则可以根据目标端物体关联的衍生信息和源端物体关联的衍生信息之间的相关性，定位出需要突出显示的衍生信息；输出获取的衍生信息，并突出显示定位出的衍生信息。

在源端物体为多个，且多个源端物体属于同一类别的组合物体的情况下，获取翻译得到目标端物体信息关联的衍生信息，包括下述至少一项：

针对多个源端物体对应的源端组合物体，获取对应的目标端组合物体信息关联的衍生信息；

针对每个源端物体，分别获取对应的目标端物体信息关联的衍生信息。

进一步地，为了使输出结果更符合用户个性化需求，本发明的实施例一中，在获取衍生信息之后，可通过如下方式输出获取的衍生信息：

根据用户个人信息，确定获取的衍生信息对应的语言环境；

基于确定出的语言环境显示获取的衍生信息。

更优地，本发明实施例一中，可以根据用户个人信息，定位出需要突出显示的衍生信息；突出显示定位出的衍生信息。

例如，可以根据用户个人信息与目标端物体的衍生信息之间的关联度，对目标端物体的衍生信息进行评级；根据评级定位出需要突出的目标端物体的衍生信息。

进一步地，还可以根据用户个人信息和/或获取的衍生信息，生成或变更相关的提醒事件。具体地，可以检测终端设备中是否存在与目标端物体相关的提醒事件；若不存在，则可以根据用户个人信息和/或获取的衍生信息，生成提醒事件。若存在，则根据用户个人信息和/或获取的衍生信息，变更与目标端物体相关的提醒事件。

其中，用户个人信息可以包括如下至少一项：用户的平均作息时间、用户健康状态、用户运动状态等；目标端物体的衍生信息包括如下至少一项：时间间隔、起止时间、重复次数等。用户的平均作息时间可通过如下至少一种内容确定：开关机时间、用户每日活动时间。用户健康状态可通过如下至少一种内容确定：健康应用中记录的数据、血压脉搏传感器等。用户运动状态可通过如下至少一种内容确定：GPS记录运动轨迹、陀螺仪记录运动速度等。

实际应用中，可以通过如下方式检测终端设备中是否存在与目标端物体相关的提醒事件：根据终端设备中已设置的提醒事件与目标端物体之间的内容相关度，判断是否存在与目标端物体相关的提醒事件。将在后续的实施例五详细介绍有关基于用户个人信息的进行事件提醒的衍生翻译方案。

因为不同用户在语言、文化、认知方面千差万别，同一用户在移动设备或者可穿戴式设备上使用机器翻译时的地理位置也在时刻发生变化。本发明提供的物体信息翻译方法中，在翻译时考虑了翻译发生的位置信息以及用户个人信息，使翻译结果和衍生翻译更贴近用户的实际需求。

本发明提供的物体到物体的翻译方法可以应用于终端设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端，例如可以是PDA(PersonalDigital Assistant，掌上电脑)、MID(Mobile Internet Device，移动互联网设备)和/或智能手机，还可以是可穿戴式智能终端，例如智能手表、智能眼镜。

本发明实施例一所提供的物体信息翻译方法中，翻译所针对的对象是物体本身，而不仅仅是文字的翻译，扩展了机器翻译对象的范围，增强翻译任务的适用性，满足用户对文本描述缺乏的物体的翻译需求。

进一步地，本发明的方案中提出了衍生翻译的概念，不仅仅给出翻译结果，而且对翻译内容进行分析，给出衍生信息，补充了翻译内容，增强用户对翻译内容的理解。

实施例二

本发明实施例二中，将从单个物体待翻译(或称为单物体翻译)的角度，以及多个源端物体待翻译(多物体翻译)的角度来说明本发明实施例一提供的物体信息翻译方法。为了便于描述，本文中可以将“物体信息翻译”称为“物体翻译”。

下面以中文用户在终端设备使用本发明提出的物体信息翻译方案，对不熟悉的外国商品进行翻译为例说明。此处的终端可以是具有拍摄功能、具有触摸屏的移动终端，在移动终端上显示物体翻译的相关信息。这里显示的方式可以是且不限于在一个屏幕上同时显示输入信息和输出结果。

以图2所示为例，终端设备的界面分为上下两个部分，上面为源端物体捕捉区，下面为目标端物体显示区。源端物体捕捉区将为物体翻译提供入口，同时显示图像中的文字译文，而目标端物体显示区主要为物体翻译提供系统输出，还可以收集用户对翻译结果的行为日志作为反馈。

一、单物体翻译

本发明实施例二提供的单物体翻译的过程可以分为以下两个步骤：

S1：终端设备获取源端物体信息

本发明实施例二中，以终端设备获取源端物体图像信息进行具体说明。终端设备检测到用户开启本发明物体翻译功能，则自动地或基于用户操作地启动设备摄像头，获取当前取景框捕捉到的图像等信息；进一步地还可以同时显示图像的缩略图；进一步地，基于检测到的用户的确认操作，确定源端物体的图像等信息。

或者，可以将当前取景框捕捉到的图像、文本等信息传输至服务器；进一步地，传输至服务器的信息可以是该终端设备处理(例如筛选和/或文字识别等)后的信息；进一步地，基于检测到的用户的确认操作，确定源端物体的图像、文本等信息。

例如，终端设备检测到用户开启物体翻译，则自动启动设备摄像头，源端物体捕捉区的中央将出现取景框，若设备检测到用户点击了“确定”按钮，则将当前取景框捕捉到的图像传输至服务器，并同时显示图像的缩略图，显示的位置可以是捕捉源端图像区的侧边或者底边，若检测到用户点击了“清空”按钮，则清除当前所有的缩略图以及它们对应的上传到服务器的图像，若检测到用户点击了多次“确定”按钮，则依次上传图像到服务器，并依次排列缩略图。

已捕捉的图像可以通过缩略图进行查看或者删除操作。当检测到用户选中某个缩略图的操作，那么与缩略图对应的图像将从服务器传到终端，并在取景框中进行显示，此时摄像头将暂时关闭，若检测到用户长按图像，则给出用户是否删除的选项，若检测到用户选择了删除，则激活删除操作，将缩略图在终端进行删除，同时在服务器端删除对应的图像。

在摄像头暂时关闭阶段，终端提供开启摄像头的方式，可以是在屏幕合适区域安置返回按钮，也可以是多次快速单击屏幕某个区域的动作，或者其它中断机制。

S2：显示翻译后的目标端物体信息

这一步的主要任务是在终端显示翻译结果。所述翻译结果包括但不限于以下至少之一：目标端物体的图片、名称、位置信息、价格信息、类别信息、相关的音频/视频等，所述的目标端物体可以为一个或多个；进一步地还可以包括源端物体捕捉区中的文字翻译。

显示方式包括：在目标端物体显示区输出上述所列的目标端物体的相关内容，还可以包括多个目标端物体候选，上述多个目标端物体候选可以基于与源端物体的相关性、用户点击频率、购买的难易程度等进行排列，从而按照优先级顺序排列目标端物体候选。这里用户点击频率的获取方法是收集用户对于目标端物体的操作日志，从日志数据中提取有关物体的点击次数，从而计算每个目标端物体的点击频率。所述购买难易程度的获取方法可以综合考虑根据当前终端位置与购买位置的距离远近，或者购买价格的高低等。

在源端物体捕捉区中，若当前处于缩略图查看状态，即摄像头关闭状态，则在取景框中的图像中显示通过下述基于分析、识别物体并翻译的步骤获得的文本翻译，若当前处于摄像头开启状态，则在取景框中采用AR(Augmented Reality，增强现实)的方式直接显示由下述基于分析、识别物体并翻译的步骤获得的译文。

上述翻译结果由以下基于分析、识别物体并翻译的步骤实现。

对图像中的物体进行分析，包括：图像特征提取，文字识别等对图像中的物体进行识别；然后将图像中的文字从源端语言翻译成目标端语言，并将图像中的源端物体翻译成目标端物体。

通过上述S1，终端设备获取物体的图片，或终端设备将物体的图片传输到服务器中的翻译系统，首先经过物体识别。参考物体识别模型所需的特征，从图像中提取图像特征，并进行OCR(Optical Character Recognition，光学字符识别)，提取文本特征，然后根据物体识别模型对物体进行识别，得到需要翻译的源端物体，以及图像中的文字；然后通过物体对齐模型将源端物体按得分高低翻译成候选的目标端物体，通过文本翻译模型和语言模型将图像中的源文字翻译成目标端语言。

源端语言的确定方法至少包括：终端设备GPS模块自动检测源端物体的所在国家和语言，也可以通过自动检测图像中的文字的语种，可以通过识别源端物体后，在物体知识图谱数据库中搜索源端物体的来源来确定，还可以由用户设置源端语种。目标端物体的语种的确定方法至少包括：终端设备GPS 模块自动检测源端物体的所在国家和语言，也可以为基于用户个人信息确定出的目标端语种，例如根据使用终端设备的用户的国籍判断出该用户所使用的语言，从而得到目标端语种，也可以为用户设置的语种，如检测到终端设备上用户设置目标端语言的行为，将用户设置的目标端语言作为目标端物体的语种，若未检测到用户设置目标端语言的行为，则可以将预先指定的语种 (如默认设备系统语言种类)为目标端物体的语种。如图2所示，显示屏的右上方将显示源端和目标端的语种，并检测用户是否对语种进行了设置，若终端未检测到用户的设置，则按照上述方法将源端语种显示到左边，目标端语种显示到右边，若终端检测到用户将目标端语言设置为汉语，因此目标端物体的语种应相应配置为汉语。

本发明实施例二中，物体识别模型、物体对齐模型、以及物体知识图谱数据库的构建过程如下：首先收集大规模源端物体和目标端物体的多模态数据，包括图片和文字，抽取文本特征和图像特征，通过有监督学习的方法构建物体类别判别模型和每个类别中的物体识别模型，然后根据已有的源端语言和目标端语言间的翻译模型(物体对齐模型)，计算源端和目标端物体的文本描述相似度得分，最后抽取文本特征、图像特征，通过有监督的学习方法训练得到物体对齐模型。从收集到的大规模有关物体的多模态数据中抽取有关物体的实体和关系属性，并用物体三元组<实体、实体、关系>表示。然后按照预设的物体类别建立物体查找索引，形成物体知识图谱数据。这里的“关系”对于不同的物体中有相应的具体含义，比如对于“物体A的颜色为蓝色”这条知识来说，可以建立“<A，蓝色，颜色>”的三元组。本发明在衍生翻译中将详细介绍不同物体的“关系”属性，在衍生翻译的方案中，“关系”表示为物体的“关键信息”，即预设属性的属性信息。比如药品的关键信息包括功效、副作用、剂量、忌用人群、获取方式等；食品的关键信息包括配料、过敏源、热量、适用人群、味道等，其中带包装的食品的关键信息还包括产地、生产日期、保质期限等，无包装的菜品(饭菜)或者菜谱的关键信息还包括味道、气味、温度、颜色、食用方法、烹饪方法等；化妆品的关键信息为成分、产地、作用、适用人群、保质期限、使用方式等。

二、多物体翻译

本发明实施例二提供的多物体翻译方案中，终端设备上传源端物体的图像，或者终端设备的摄像头捕捉到多个源端物体的图像，通过物体图像和/ 或物体图像上的文字对源端多个物体进行识别；然后对识别结果进行自动分类，若在已预先定义好的物体类别中它们属于同一类别的组合物体，则可以先将所有源端物体当作组合物体进行翻译，然后对其中每个单个物体进行翻译；若在预先定义好的物体类别中它们不属于同一类别，则直接对其中每个物体进行翻译；最后在终端显示每种源端物体对应的按翻译打分排序后的目标端物体。若终端设备捕捉到用户在取景框中选中某个物体的行为，则在终端实时调整翻译结果为单独显示这个源端物体对应的目标端物体，并按翻译打分排序。

具体地，本发明实施例二提供的多物体翻译的过程可以分为以下两个步骤：

S3：获取源端物体信息

终端设备通过摄像头捕捉多个源端物体的图像，其在终端的操作方式与实施例二中的步骤S1相同。如图3所示，终端设备捕捉到多个遥控器的图像。

S4：显示翻译出的目标端物体信息

若判断出源端物体属于多个相同物体，则表示输入了多个完全相同的单物体，只翻译这个单物体，按照实施例一的步骤S103输出或按照本发明实施例二的步骤S2进行显示。

若判断出源端物体属于同一类的组合物体，也即是在预先定义好的物体类别中它们属于同一类别的组合物体，则先将所有源端物体当作组合物体进行翻译，然后对其中每个单个物体进行翻译，显示翻译结果时先显示组合物体的翻译结果，再单独显示每个物体的翻译结果。

若判断出源端物体并无明显组合关系，则直接对其中每个物体进行翻译，然后显示每个物体的翻译结果。

若为后面两种情况，本发明实施例三提供了一种多物体输入的交互方式，终端设备捕捉到用户在取景框中选中某个源端物体的操作，则在终端实时调整翻译结果，调整方式包括但不限于：单独显示这个源端物体对应的按翻译打分排序后的目标端物体，或者这个源端物体的目标端物体序列被排至最靠前、高亮、框选等方式标识出来。

若为后面两种情况，本发明实施例三还提供了一种借助增强现实显示技术的多物体输入的交互方式，可以直接在源端物体捕捉区显示出用户想找的物体。

本发明实施例二中，源端的多个物体否属于同一类别的判断方法包括：在物体知识图谱数据库中查找每个物体的名称，1)若它们的名称完全相同则按照单物体输入处理；2)若它们的名称具有相同的品牌或者类别前缀则按同一类别处理，比如“Friso奶粉1段”和“Friso奶粉2段”，3)分析输入物体的图片特征和文字特征，对它们分别进行识别并从知识图谱中查找到各自对应位置，若它们均属于同一个品牌下面的子节点，比如某个品牌名下的面霜和乳液，则按照同一类别组合物体处理。除开这几种情况则将其按照不同类别处理。

本发明实施例二的技术方案中，通过预先构建的物体对齐模型，将不熟悉的国外的物体，包括药品，食品，化妆品，路标指示牌等，翻译成用户熟知的国内对应物体，或者交换翻译方向，将国内的物体翻译成目标国家的对应物体，扩展了机器翻译对象的范围，增强翻译任务的适用性，满足用户对文本描述缺乏的物体的翻译需求。

实施例三

为了更直观地将翻译结果呈现给用户，即时地将用户需求进行反馈并快速响应，本发明实施例三提供了一种借助增强现实的交互式物体信息翻译方案。

值得指出的是，这里介绍的增强现实的交互式翻译方法不仅适用于物体到物体的机器翻译，也可以构成其他常规翻译方法的改进，例如，基于源端物体的图像信息中识别出的文字进行直接翻译的方法。

所述的增强现实交互式物体翻译分为以下三个步骤：

步骤一：获取源端物体信息。

步骤二：显示翻译出的目标端物体信息。

步骤三：终端根据检测到的用户操作作出相应的响应。

本发明实施例三中，步骤一和步骤二的实现可参考实施例二的步骤S1、 S2在此不再赘述。

其中，源端物体信息包含源端物体对应的多媒体信息时，可以通过下述方式获取源端物体信息：通过多媒体采集设备实时采集多媒体信息，并将实时采集的多媒体信息作为源端物体信息。

步骤三中检测到的用户操作包括但不限于以下所列：点击、长按或框选源端捕捉区中相关图像中的信息(例如识别出的文字)；点击、长按或框选目标端显示区中的某个目标端物体；点击启动交互式模式的按钮等。与用户操作相应的响应包括但不限于：基于检测到的源端物体信息进行适应性调整，如识别相关源端物体、高亮显示相关图像识别出的文字，也可以基于对目标端物体的操作调整源端物体的显示方式，或基于对源端物体的操作调整目标端物体的显示方式，如借助增强现实的技术进行显示等。

进一步地，所述步骤三可以是但不限于以下三种方式至少之一：对于源端物体的直接翻译、对于目标端物体的定位、对于源端物体的定位。

方式一：对于源端物体的直接翻译

根据检测到的对源端物体捕捉区的操作，调整源端、目标端的显示。具体来说，首先终端对源端捕捉区的操作进行检测，若检测到用户对物体上的某一部分区域产生了点击、拉大、长按等操作，则在源端取景框内重点显示该区域的文字识别结果，以及文字翻译结果，显示方式包括：放大该区域、高亮和/或框选该区域的范围等。如图2所示，当终端检测到用户对源端取景框中的“配料”区域进行了点击、长按、拉大等操作，则在源端取景框中呈现的“配料”区域将被放大，并且将显示该区域中的所有文字翻译。

方式二：对于目标端物体的定位

根据检测到的用户对目标端物体显示区的操作，调整源端和/或目标端的显示。具体来说，首先终端对目标端的物体显示区域进行检测，若检测到用户激活了某个目标端物体的交互式显示模式，则启动目标端增强现实的交互式显示模式。以图4为例进行说明。该图例中，中国用户想在荷兰买荷兰销售的某款奶粉，但是该用户只有在中国销售的该款奶粉的照片，当他到达荷兰商场时，他能通过上述增强现实交互式物体信息翻译方法，可以轻松快捷地找到当地生产的该款奶粉的商品。

具体的，例如，首先经过上述的步骤一和步骤二进行处理，也就是：终端设备检测到用户上传了源端物体该款奶粉的图像，然后在服务器端对图像进行分析、识别和翻译，得到该款奶粉在荷兰对应物体的图像和相关文本描述(即目标端物体)。

进一步地，步骤三中，本发明在翻译结果的显示区为用户提供了“浏览模式”的选择。“浏览模式”的激活方式包括但不限于以下方式之一：在屏幕上的相应物体图片旁边提供浏览按钮，也可以关联长按、双击物体图片等操作进行激活，也可以通过某个预设的语音命令进行激活。

当终端设备检测到用户激活了“浏览模式”，则开启终端设备的摄像头，并将屏幕上取景框的占屏比调整至合适的比例。终端实时上传摄像头捕捉到的图像，服务器对图像进行多目标识别，然后与目标端物体进行匹配，若图像中的某个物体能与目标端物体匹配上，则用增强现实的方式在取景框中对该物体进行高亮显示、框选和/或其他标识方式。

本发明实施例三中，可以称终端实时上传的图像中的多个物体(多个不同的或者相同的物体，具体判断方法参见实施例二)为候选物体，翻译后的目标端物体为参考物体。上述提及的匹配方法具体包括：从物体知识图谱数据库中提取目标端物体的图像特征和/或文本特征；从物体知识图谱数据库中提取候选物体的图像特征，并对候选物体的图像进行文字识别，提取出文本特征；然后将候选物体与目标端物体的图像特征和/或文本特征进行相似度衡量，相似度计算方法可以是余弦相似度方法，也可以是核方法，也可以是基于分布式表示的计算方法。

方式三：对于源端物体的定位

输入的源端物体为多个时，可检测用户针对翻译得到的目标端物体信息的选择操作；在实时采集的多媒体信息中定位出用户选择的目标端物体信息对应的源端物体。

具体地，可以根据终端检测到的用户对目标端物体显示区的操作，调整源端物体捕捉区的显示方式，如直接在源端物体捕捉区显示出用户想找的物体，以图3为例进行说明。

终端设备通过摄像头捕捉多个源端物体的图像，按照实施二提供的多物体翻译方案进行多个物体的识别、类别判断、翻译后，在目标端物体显示区显示翻译结果。终端检测到用户激活了多物体交互方式，这里的激活方式包括但不限于：长按或者双击某个目标端物体图像等手势操作，语音输入某个目标端物体名称等。终端激活多物体交互方式，并检测到某个被选中的目标端物体，在源端物体捕捉区的取景框内将选中的目标端物体对应的源端物体进行高亮显示、框选和/或其他标识方式。

具体的，如图3所示，终端检测到用户激活了多物体交互方式，并检测到某个被选中的目标端物体，在源端物体捕捉区的取景框内将选中的目标端物体对应的源端物体进行高亮显示或框选等标识。

经过判断这些源端遥控器的语言种类为韩语，类别有电视遥控器，空调遥控器，微波炉遥控器等，不属于同一类别，因此将它们每个物体分别翻译成目标语言的物体。是否属于同一类别的判断方法参见实施例二。

实施例四

考虑到，传统的机器翻译技术通常只关注翻译本身，而在实际生活中，用户往往不仅需要翻译，更需要的是对翻译内容的理解以及相关知识的获取。例如，输入国外药品的名字，传统机器翻译只会根据输入进行相应地翻译，没有进一步理解翻译内容是否对应某个命名实体，如果是，那么是否需要给出其相关的有用信息比如功效、剂量、适用人群、乃至购买方式等。用户输入什么内容就翻译什么内容，这种被动的翻译方式无法真正满足用户的实际需求。

因此，为了让用户更好地理解翻译内容，本发明实施例四提供了一种提供衍生翻译的物体信息翻译方案。具体地，可以获取目标端物体关联的衍生信息和/或源端物体关联的衍生信息；输出获取的衍生信息。

实际应用中，可以从预设的物体知识图谱数据库中，搜索目标端物体的预设属性对应的属性信息；将搜索到的属性信息确认为目标端物体关联的衍生信息。从预设的物体知识图谱数据库中，搜索源端物体的预设属性对应的属性信息；将搜索到的属性信息确认为源端物体关联的衍生信息。其中，预设属性是根据目标端物体和/或源端物体的类别确定的。

本发明实施例四中，物体的预设属性可以是“关系”属性，预设属性对应的属性信息表示为物体的“关键信息”。比如药品的关键信息包括功效、副作用、剂量、忌用人群、获取方式等；食品的关键信息包括配料、过敏源、热量、适用人群、味道等，其中带包装的食品的关键信息还包括产地、生产日期、保质期限等，无包装的菜品(饭菜)或者菜谱的关键信息还包括味道、气味、温度、颜色、食用方法、烹饪方法等；化妆品的关键信息为成分、产地、作用、适用人群、保质期限、使用方式等。

本发明实施例四中，将从与翻译物体有关的关键信息，以及源端物体和目标端物体的对比信息作为衍生信息来说明提供衍生翻译的物体信息翻译的方案。

下面分别介绍单物体和多物体的关键信息和对比信息。

一、单物体的衍生翻译

为输入的单物体生成衍生翻译的过程可以分为以下几步：

步骤一：获取源端物体信息

本发明实施例四中获取源端物体信息的步骤，可参考实施例二中获取源端物体信息的步骤。终端通过摄像头捕捉源端物体图片，或者终端传输已有的源端物体图片(例如从网络或其他设备获取的)至本机或服务器的翻译系统。

例如，如图5所示，源端物体捕捉区中右下角提供“Upload”按钮，一个在中国旅游的美国用户想买感冒药，终端检测到他输入了自带的感冒药图片，并且把目标语言设置为了中文。终端传输源端感冒药的图片到服务器，并告诉服务器目标语言为中文，也即是将美国的感冒药翻译成中国的感冒药。

步骤二：显示翻译出的目标端物体信息

本实施例四中，翻译得到与源端物体对应的目标端物体信息之后，可以获取目标端物体关联的衍生信息和/或所源端物体关联的衍生信息；输出获取的衍生信息。

目标端物体的衍生信息可显示在屏幕的目标物体显示区，显示方式包括但不限于以下至少之一：采用文本列表的形式进行逐条显示，也可以采用图片的形式对某个衍生信息进行表示，也可以采用超链接的形式将设备的其他应用链接起来，比如地图导航，也可以采用音频/视频的形式对衍生信息进行播报展示。

进一步地，分析、识别物体并生成衍生信息的步骤如下：

首先，按照实施例二中提及的方法分析、识别物体之后，翻译成目标端物体，并从目标端物体的知识图谱中获取有关的关键信息。

这里的知识图谱构建方法为：在实施例二中构建的物体知识图谱数据库基础上，对每个物体的关键信息进行提取和标记。具体方法是根据每个物体的类别，对物体的关键信息打上衍生信息的标签。这里所述的关键信息与物体类别有关，如：药品的关键信息包括功效、副作用、剂量、忌用人群、获取方式等；食品的关键信息包括配料、过敏源、热量、适用人群、味道等，其中带包装的食品的关键信息还包括产地、生产日期、保质期限等，无包装的菜品(饭菜)或者菜谱的关键信息还包括味道、气味、温度、颜色、食用方法、烹饪方法等；化妆品的关键信息为成分、产地、作用、适用人群、保质期限、使用方式等。

实际应用中，还可以基于目标端物体对应的位置信息，确定目标端物体关联的衍生信息。

其次，根据目标语言生成衍生翻译。获得目标端物体的衍生信息以后，翻译系统启动文本翻译模块，若衍生信息的语言与终端设备系统语言相同则将衍生信息输出到终端设备，若衍生信息的语言与终端设备系统语言(或用户设置的目标端输出语言)不相同，则将其翻译成终端设备系统语言(或用户设置的目标端输出语言)后输出到终端设备。如图5所示，这里的中国感冒药的衍生信息是中文的，与美国用户的设备系统语言不一致，需要将其翻译成用户的系统语言。

二、源端与目标端物体的自动比对

为了更好的让用户理解将源端物体翻译成目标端物体后两者的差异，本发明实施例四还提供了两端物体的对比方法，由以下几步实现：

步骤一：启动对比模式

当翻译系统按照实施例二中的S1、S2步骤将源端物体翻译成目标端物体并显示到终端设备之后，同时为终端提供激活对比模式的机制，包括但不限于以下之一：可以在目标端物体显示区的目标物体附近设置对比按钮，也可以是通过一定的手势操作来激活，也可以通过预先设定的语音命令来激活对比模式，也可以是系统自动触发。

若终端检测到用户激活了源端物体和目标端物体的对比模式，则对服务器发送当前源端物体和该目标端物体的对比命令。

步骤二：在终端设备进行显示对比信息

终端设备的显示方式包括但不限于以下所列之一：在终端屏幕上单屏显示，可以是横屏左右显示如图6所示，也可以是竖屏上下显示；也可以在终端进行二分屏显示，其中一个屏幕显示源端关键信息，另一个屏幕显示所有的候选目标端物体关键信息，通过上下滚动、左右滑动等方式切换候选目标物体；也可以通过语音播报的方式对源端物体和目标端物体的关键信息进行展示。进一步地，可以高亮或框选差异信息，例如，图6中左右侧药品的不同的用量、用法等可高亮显示。

进一步地，对比信息的获取方法如下：

目标端物体的关键信息经过单物体的衍生翻译方案中的步骤二得到，源端物体的关键信息获取方法与目标端物体的关键信息获取方法类似。具体而言如下所述：从物体知识图谱数据库中对源端物体进行查找，并对照目标端物体的关键信息抽取源端物体的相应信息，比如目标端物体为药品，其关键信息为功效、副作用、剂量、忌用人群、获取方式，则在知识图谱中查找源端物体的功效、副作用、剂量、忌用人群、获取方式。

三、多物体的衍生翻译

当检测到输入了多个物体时，衍生信息的产生以及处理过程如下：

步骤一：终端设备捕捉多个源端物体图像

该步与实施例二中的二、多物体翻译的步骤S3完全相同，这里不再赘述。

步骤二：终端显示衍生翻译

该步在实施例二的基础上增加了终端设备衍生翻译的显示，增加方式如源端与目标端物体的自动比对方案中的步骤二所述。

这里分析、识别多个物体、生成多物体衍生信息，并翻译衍生信息的方法如下：

首先，服务器对图像进行多目标识别，识别方法如实施例二中的步骤S2、 S4所述。识别结束之后，翻译系统将对识别出的物体进行判断：若它们完全相同，则表示输入了多个完全相同的单物体，翻译系统只对这个单物体的目标端物体生成衍生信息；若在预先定义好的物体类别中它们属于同一类别，则先将所有源端物体当作组合物体，对其翻译后的目标端物体生成衍生信息，然后对其中每个单个物体的目标端物体分别生成衍生信息；若在预先定义好的物体类别中它们不属于同一类别，则直接对其中每个物体的目标端物体生成衍生信息。

在物体知识图谱数据库中查找每个物体的名称，1)若它们的名称完全相同则按照单物体输入处理，2)若它们的名称具有相同的品牌或者类别前缀则按同一类别(例如组合物体)处理，比如图7的两个源端物体，3)分析输入物体的图片特征和文字特征，对它们分别进行识别并从知识图谱中查找到各自对应位置，若它们均属于同一个品牌下面的子节点，比如某个品牌名下的面霜和乳液，则按照同一类别组合物体处理。除开这几种情况则将其按照不同类别处理。

其次，根据目标语言生成衍生翻译，具体方法与源端与目标端物体的自动比对方案中的步骤二中所述的翻译方法相同，这里不再赘述。如图7所示，化妆品的衍生信息包括但不限于：生产商(或者产地)、功效(或者作用)、步骤(或使用方式)、推荐购买地点等。

四、多物体的源端与目标端物体的自动比对

若输入为多个物体，那么源端多物体与翻译结果的对比过程按照如下处理方式进行：

步骤一：启动对比模式

输入的多个物体若属于组合物体，那么系统将提供组合物体比较模式，激活方式与单物体输入相同。具体而言就是：可以在目标端物体显示区的组合目标物体附近设置对比按钮，也可以是通过一定的手势操作来激活，也可以通过预先设定的语音命令来激活对比模式，也可以是系统自动触发。

输入的多个物体若不属于组合物体，则针对每个源端物体及其翻译物体提供单物体对比模式，激活方式可参考上述“二、源端与目标端物体的自动比对”的方案中步骤，这里不再赘述。

步骤二：在终端设备进行显示对比信息

在终端的显示方式与源端与目标端物体的自动比对方案的步骤二相似，具体来说包括但不限于以下所列之一：在终端屏幕上单屏显示，可以是横屏左右显示如图8所示，也可以是竖屏上下显示；也可以在终端进行二分屏显示，其中一个屏幕显示源端关键信息，另一个屏幕显示所有的候选目标端物体关键信息，通过上下滚动、左右滑动等方式切换候选目标物体；也可以通过语音播报的方式对源端物体和目标端物体的关键信息进行展示。进一步地，可以高亮或框选差异信息，例如，图8中左右侧化妆品的不同的数量、用法等可高亮显示。

若是组合物体的比较模式，则需在比较界面分别陈列出源端所包含的物体和目标端所包含的物体，然后再对比组合物体的衍生信息。若是多个单物体的比较模式，则需要在比较界面上分别对每个源端和目标端的物体的关键衍生信息进行对比。

这里的对比信息的方法和对比内容为：若终端发送了启动组合物体的比较模式，则从知识图谱中对组合源端物体进行查找，并对照组合目标端物体的关键信息抽取组合源端物体的相应信息。列出组合源端物体和组合目标端物体中所包含的物体。具体操作方法包括：首先对源端和目标端的组合物体进行配对，配对的方法可以是计算两两物体之间的名称、作用、成分等特征的相似度。若源端和目标端组合物体中包含未配对的物体，则重点显示，重点显示方式包括但不限于以下之一：加粗、斜体、高亮等。若终端发送了启动了多个单物体的比较模式，根据上述配对的结果，若有配对成功的物体，则参照源端与目标端物体的自动比对方案中步骤二，进行关键信息的对比抽取。

具体来说：从知识图谱数据库中对源端物体进行查找，并对照目标端物体的关键信息抽取源端物体的相应信息，比如图8所示，目标端物体为化妆品套装，其关键信息为产地、作用、适用人群、使用方式、使用步骤、获取商店，则在知识图谱中查找源端物体的产地、作用、适用人群、使用方式、使用步骤、获取商店。若在知识图谱中源端物体的语言与终端设备系统语言 (或用户设置的目标端输出语言)不相同则将其翻译成终端设备系统语言。然后，源端物体和目标物体的关键信息将都以终端设备系统语言的方式传输到终端设备进行显示，图8的例子中，先按照所述方法计算源端和目标端两两物体对之间的相似度并配对，若源端和目标端的组合物体中含有不匹配的物体，比如图8中的“眼霜”、”卸妆油”，则在显示两种套装所包含的的物品种类时，采用高亮、斜体等方式显示不匹配的物体，进一步地，可以显示源端和目标端套装的使用步骤等内容，若终端发送了单物体对比模式的命令，则先按照所述方法计算源端和目标端两两物体对之间的相似度并配对，然后对配对的物体对进行对比展示。

由于被动的翻译远远无法满足用户的需求，本发明实施例四提出了衍生翻译的概念，不仅仅给出翻译结果，而且对翻译内容进行分析，给出有关翻译内容的衍生信息，可以补充翻译内容，增强用户对翻译内容的理解。

实施例五

一、个性化的物体信息翻译

为了使翻译结果更符合用户个性化需求，本发明实施例五提供了一种基于用户个人信息的物体信息翻译方案。

针对不同的用户，本发明实施例五提供的物体信息翻译方法中将补充个性化的衍生信息，具体包括以下两个步骤。

步骤一：获取源端物体信息

进一步地，获取的信息还可以包含用户个人信息，获取方式包括但不限于以下方式：终端通过分析用户日历、和/或备忘录软件记录的信息获取用户日程信息；终端通过分析用户邮箱、短信、和/或通话记录记录的信息获取用户兴趣爱好相关信息；终端通过摄像头、麦克风、声音传感器、光线传感器、和/或湿度传感器获取用户所处的环境信息；终端通过速度传感器等来获取用户的运动状态等信息；终端通过应用软件等来获取用户的健康状态等信息。

步骤二：显示翻译出的目标端物体信息

进一步地，在显示翻译出的目标端物体信息之前，根据用户个人信息调整衍生信息，当终端收集到用户个人信息后，与当前衍生翻译相结合，为衍生翻译的内容进行评级和标注。具体评级和标注方法如下:

对衍生翻译的内容和用户信息进行关联度分析，根据用户信息关联度对衍生翻译的内容进行打分，将关联度高的衍生翻译内容进行高亮显示。所述的关联度分析可以采用计算信息熵，KL(Kullback Leibler divergence，相对熵)散度等方法实现。

如图9的例子所示，若终端按照步骤一的方法所述检测到用户的日程表上有节食减肥的内容，并且在健康应用中记录了对花生过敏等内容，因此针对该用户，系统将在物体翻译的衍生信息的突出位置高亮过敏源、热量等信息，从而提醒用户注意，图9所示，终端屏幕上的衍生信息区域中，这类敏感内容将被提前，并且高亮。显示方式包括但不限于：在终端屏幕上交换内容的显示顺序、高亮、加粗，也可以通过终端震动、发出声音等方式对用户进行提醒。

二、基于位置优化物体信息翻译

考虑到，现有的机器翻译技术没有充分考虑移动设备用户的位置信息和个性化信息，译文并未根据翻译场合或者用户需求进行调整。不同地区的用户对于某个概念的理解可能差异很大，比如“sunscreen”在英语中既是防晒霜也可能是指助晒霜，对于中国市场来说通常是指防晒霜，因此在中国通常可以翻译成防晒霜。但对于在欧美国家旅游的中国人，若不加以区分地将其仍然翻译成防晒霜，那么很可能造成用户的误解，从而产生错误的购买行为。

因此，本发明实施例五，可以通过设备传感器收集用户所在位置，根据用户所处的不同位置，优化用于物体翻译的物体对齐模型，以提高物体信息翻译的准确度，具体过程包括：

步骤一：获取源端物体信息

进一步地，获取的信息还包含获取用户国籍、民族等信息。终端通过分析用户常在的位置信息/用户使用语言等判断用户的国籍、民族等信息。

步骤二：显示翻译出的目标端物体信息

系统在进行物体信息翻译时，将结合用户位置、国籍、民族等信息对物体翻译结果进行优化。首先我们定义物体歧义三元组<源端物体，源语言，目标语言>：若源端物体翻译对应的目标端物体候选不完全属于同一种物体，则表示源端物体在目标语言端是有歧义的，如“sunscreen”翻译成“防晒霜”或者“助晒霜”，则构成了物体歧义三元组<“sunscreen”所代表的物体，英语，汉语>。

终端通过实施例二的步骤S2确定源端和目标端的翻译方向后，根据物体歧义库确定当前的源端物体是否是有歧义的，若是，则根据知识图谱数据库中有关源端物体的歧义信息对翻译模型(即物体对齐模型)进行优化。优化方法为通过抽取源端物体的文本特征，利用物体歧义分类器对翻译候选进行打分。这里的文本特征包括：源端物体的衍生信息，如图10中的物体所包含的衍生信息“产地：澳大利亚，防晒系数：4，功效：助晒黑”等内容。这里的物体歧义分析分类器的构建方法具体为：提取上述文本特征，采用有监督的判别式模型训练方法，对翻译候选进行分类训练，得到在不同的文本特征下，同一歧义物体对应于不同翻译候选的打分，并作为特征加入到翻译模型中，从而帮助翻译系统对最后的翻译候选进行优化。如图10所示，根据用户的国籍，系统将自动判断是否采用歧义分类器，若用户是欧洲人则直接给出翻译结果，若用户是亚洲人，则翻译系统将加入歧义分类器打分作为特征，对翻译结果进行消歧后输出翻译结果“助晒霜”。或者在衍生信息中提醒用户注意该物体翻译过来可能是有歧义的。提醒方式包括但不限于：有关歧义的内容进行高亮、加粗等突出显示，也可以增加警告图标，也可以在终端屏幕上弹出警告的窗口，也可以通过语音提醒。

上述方法中，物体歧义库的构建和歧义物体自动判断方法如下：在实施例二的步骤S2中所述的物体对齐模型构建方法的基础上，对每个源端物体所对应的目标端物体候选进行类别分析，分析方法如实施例二的步骤S4所述。所目标端候选并不完全属于同一个类别，则将三元组<源端物体，源语言，目标语言>加入到物体歧义库中。当查询某个正在翻译的物体是否是歧义物体时，通过查询其三元组是否在物体歧义库中来进行判断，若在物体歧义库中，则返回值为肯定，否则返回否定。

步骤二所述的带有歧义信息提醒的知识图谱构建方法如下：在实施例二中的知识图谱构建方法的基础上，通过物体歧义库和对齐模型查找有歧义的物体对应目标端物体，并将其在知识图谱上的添加歧义标记。

三、社交网络中的翻译自适应

本发明实施例五还提供了一种社交网络中进行物体信息翻译的方案，包括以下几步：

步骤一：获取源端物体信息

本发明还提供了在物体翻译系统中启动群聊功能和/或在社交软件中启动物体翻译的入口。启动方式包括：通过长按、滑动等方式启动物体翻译，然后按照实施例二的步骤S1上传源端物体图片信息到服务器或本机物体翻译系统；也可以是，在社交软件界面中设置翻译按钮，根据用户操作启动物体翻译，所述的社交软件可以是群聊软件/应用，也可以是带有对话功能的软件/应用。

步骤二：针对每个人输出相应的翻译结果

实际应用中，可以根据是否使用单侧终端翻译，分两种情况说明：

1)基于接收方的信息，发送方请求系统对物体进行翻译然后发送图片。

发送方通过终端GPS/wifi/3G和社交网络收集接收方的位置信息，由此确定目标物体所在的地区和国籍。根据每台终端的位置，向翻译系统发送请求，将源端物体翻译成相应的目标端物体，以及生成衍生翻译。然后将翻译结果发送给各个接收方。这里的翻译结果可以包括文字、图片、音频、视频。

2)发送物体图片，接收方请求系统对物体进行翻译。

接收方通过终端GPS/wifi/3G收集用户当前的位置，由此确定目标物体所在的地区和国籍。根据每台终端的位置，像翻译系统发送请求，将源端物体传输过来的物体翻译成相应的目标端物体，以及生成衍生翻译。

如图11所示，位于内地的用户在群聊软件中翻译”Friso”时(如图11 中第二张UI图所示)，虽然处在同一个聊天的界面中，小组中位于中国香港的文芳和位于荷兰的Sophie将收到不同的适应当地的翻译结果。位于中国香港的文芳的聊天界面中将显示该物品在中国香港的对应物体图片以及衍生信息，位于荷兰的Sophie的聊天界面中将显示该物品在荷兰所对应的图片以及衍生信息。

四、标语衍生翻译自适应

当输入物体是标识语时，本发明提出一种根据当前的位置或地区自动生成针对当前标识的有关当地法律法规的衍生翻译。处理过程可分为以下几个步骤：

步骤一：获取源端物体信息

该步与实施例二的步骤S1相同，这里不再赘述。

步骤二：显示翻译出的目标端物体信息

进一步地，有关标语分析、识别并生成衍生信息的方法如下：

按照实施例二的步骤S2对物体进行识别，若该物体是标识语，则进行标识语翻译并且生成跟当地法律法规有关的衍生信息。

所述判断物体是标识语的方法为：建立多语言常用标识语数据库，当输入物体进行文字识别之后，与标识语数据库中的句子进行匹配，若匹配上则判断当前输入物体为标识语，否则按照一般物体进行翻译。

生成跟当地法律法规有关的衍生信息的方法为：通过终端GPS/WIFI/ 3G等获取终端当前所在的地区，从法规数据库中查询包含翻译内容的法规条目。所述的法规数据库的构建方法为：针对常见标识语建立不同地区的法规政策数据库，可以通过从法律/法规网站上的文本中自动抽取相关条款，也可以通过人工标注的方式建立。

根据标语所在地区的文化背景不同，标语翻译涉及以下三种情况：

1)A语言环境下有该标语或标识牌，B语言环境下没有；

若源端的标识牌在目标语言端没有对应的标志，则只翻译源端标识牌中的文字，并给出如上所述的衍生翻译，如图18(a)中的“先行权”标志牌在欧洲有，在中国没有，则将其翻译成中文时，在终端目标端输出该标识牌在当地的含义和衍生信息。

2)A、B图案不同，含义相同；

按照步骤二所述方法抽取图片特征和文本特征进行翻译，终端将显示目标端相应的标识牌(不一定完全相同)以及衍生翻译。

3)A、B图案相同，含义不同；

该情况按照2)所述方法，输出与A在图片特征和文本特征共同作用下得到的相应标识牌和衍生信息，若没有对应标识牌则按照1)所述输出标识牌的含义和衍生信息。

如图12所示，终端检测到了输入物体，经过系统识别发现其是一条“禁止打电话”的标语，并通过终端检测到了当前位置，根据位置信息和标语文字信息，从法规数据库中搜索到当地对违反此行为的处罚条例“违者处罚 1000元人民币”，然后将其翻译成终端系统语言(或者用户设置的目标语言) 并显示在终端屏幕上。

进一步地，若该标语涉及到指定APP的操作，则与该APP进行关联，如图12中，“禁止”和“打电话”涉及到了终端语音通信的APP的操作，终端将自动关联该APP，并弹出警告信息“Turn off call App”。

五、基于衍生翻译的个性化事件提醒

本发明实施例五还提供了一种个性化的事件提醒方案，能够为用户设置提醒，进一步地还可以自动调整。

例如，在翻译药品等物体时，若翻译系统检测到衍生翻译中包含时间间隔、数字等信息时，将为用户设置个性化的提醒事件；进一步地，检测到用户已设置了提醒，基于衍生信息中的对比信息，提醒可自适应变更。该提醒可以应用于手机、可穿戴设备或其他智能设备等智能终端。

具体步骤包括：

步骤一:获取源端物体信息

该步在实施例二的步骤S1的基础上，进一步地，检测信息包括终端设备上是否有设置提醒事件，并且根据提醒事件的内容判断是否跟当前翻译内容有关。

上述检测当前设备的提醒中是否存在翻译相关提醒的方法为：根据翻译内容和设备提醒内容相关度判断，具体的，例如：根据翻译内容和设备提醒内容计算文本关键词的相似度，计算方法可以是余弦相似度、编辑距离等。例如图13(a)中，在衍生翻译中抽取出事件关键词“剂量”，若当前设备检测到已有的提醒事件主题分别为“约会”，“吃药”，“生日”，通过语义相似度计算找到与“剂量”事件最相关，则判断“吃药”提醒事件为与当前翻译内容相关的提醒事件。除了根据关键词来计算相似度，还可以通过文本语义分布式表示，或者计算文本主题相似度来确定提醒内容是否与当前已有提醒内容有关。

步骤二：显示翻译出的目标端物体信息

该步在实施例二的步骤S2的基础上，系统将对翻译内容进行自动文本分析，若检测到衍生翻译中包含时间间隔，则根据终端中检测到的用户信息自动生成提醒事件或者自适应更改已有的提醒事件。这里提醒的内容包括根据衍生翻译自动抽取而来，包括但不限于：名称、剂量、时间间隔或者其它跟物体有关的关键信息。

具体方法为：通过步骤一，若终端检测到当前设备的提醒中不存在相关提醒，则在终端提示用户是否需要新建提醒，并且根据文本分析结果自动生成不同的提醒对象选项，在终端显示可能的提醒选项，如图13(b)所示，通过对衍生信息的文本分析，自动得到两种提醒对象，并根据文本的时间间隔以及用户的平均作息时间给出合理的时间提醒建议。如图13(c)所示，根据终端检测到用户的作息时间和文本分析出的时间间隔，自动安排相对合理的提醒时间。若终端检测到当前设备的提醒中已经存在相关提醒，则在终端提示用户是否需要更改提醒时间，并根据终端检测到用户的作息时间和文本分析的时间间隔自动安排相对合理的提醒时间。

这里终端检测用户的作息时间的方式包括但不限于：通过检测终端设备的早晨启用时间和夜晚休眠时间，并计算平均值；也可以通过设备传感器，如手表上的温度传感器、陀螺仪等来检测用户每日活动时间，并计算平均值等。

六、翻译结果多模态输出

本发明实施例五还提供了一种翻译结果多模态输出的方案，所述多模态输出包括文字描述、图片、音频、视频等；进一步地，还可以基于用户操作、终端所处环境、当前网络情况、终端设备类型等进行自适应调整输出模态。

例如，常规模式下将翻译输出目标物体的文字描述、图片，进一步地还可以包括语音，若目标物体的衍生翻译中含有视频，如图14(a)所示，则可以将视频输出。若检测到用户设置儿童模式，如图14(b)所示，在翻译结果中采用少量文本加图片、视频；若检测到当前环境安静，如图14(b)所示的图书馆、医院等场景，则在翻译结果中采用文字描述加图片的方式，进一步地，可以提供音频或者视频，但在音频和视频播放前进行警告；若检测到当前网络/数据信号差，或者电量不足时，如图14(b)，则在翻译结果中采用文字描述，以及经过压缩的图片。

因为不同用户在语言、文化、认知方面千差万别，同一用户在移动设备或者可穿戴式设备上使用机器翻译时的地理位置也时刻在发生变化。本发明实施例五在翻译物体时考虑了翻译发生的位置信息以及用户的个人信息，使翻译结果和衍生翻译更贴近用户的实际需求。

实施例六

考虑到，现有的机器翻译技术通常关注于如何在手机，pad等移动设备上的应用，而没有充分探讨机器翻译如何适应多用户、多设备，如可穿戴式设备中的手表和眼镜，为人们带来更大的便利。随着可穿戴式设备处理数据的能力日渐强大以及设备的逐渐普及，将机器翻译以何种方式移植到可穿戴设备上、如何适应多用户特点、挖掘多用户产生的数据来改善翻译质量成为非常重要的问题。

进一步地，考虑到可穿戴式智能设备的逐渐普及，以及其便携性，因此，本发明实施例六提供了一种在多种智能设备上进行物体翻译的方案，并提供了一种针对多个用户进行翻译和通过大用户数据改善翻译质量的方案。

一、应用于智能手表的物体信息翻译

手表作为用户时刻携带的智能设备，具有比手机等终端更方便携带的特点，因此本发明实施例六提供了一种可以应用于智能手表的物体翻译方案，并进一步地提供了脱离手机等终端的翻译方案。

步骤一：获取源端物体信息

通过手表、还可以包括其他终端设备(如手机/PAD)、服务器进行通讯来完成源端物体的检测上传和同步，其中手表、其他终端设备、服务器的交互方式包括但不限于:1)智能手表仅作为输入和/或输出设备，智能手表的摄像头检测或由其他终端设备检测源端物体，传输至该终端设备或上传服务器并翻译，翻译结果传回该终端设备和/或手表，进一步地，得到翻译结果的该终端设备根据手表表盘大小对翻译结果进行自适应调整后，将翻译结果传到手表上进行显示，如图15(a)、15(b)所示，手表上的显示方式由步骤二进行介绍；2)智能手表作为智能终端设备，手表检测到源端物体后，传输至手表中的物体翻译系统或将源端物体图片上传到服务器进行翻译。进一步地，可由服务器将翻译结果进行自适应调整返回到手表。

步骤二：显示翻译出的目标端物体信息

进一步还可以包括显示部分衍生翻译。

翻译结果返回到手表上时将会进行自适应调整，包括但不限于：物体图片大小自适应，描述性文字进行自动摘要，尽量减少文字显示，衍生翻译不提供视频；或者基于用户的操作进行调整，例如检测用户选择了全文还是摘要，检测用户是否启动了音频播放设置，检测用户是否选择了视频播放设置等。进一步地，若衍生翻译的文本中包含有时间间隔等关键词，则对文本进行分析，并自动生成提醒事件，提醒的时间根据用户的作息时间进行安排：通过手表自动检测用户的平均起床时间和休息时间，然后根据文本中的时间间隔建立提醒事件。如图16所示，系统检测到衍生翻译中的有时间间隔，并通过文本分析发现有几种可能的时间间隔，于是自动生成不同的选项显示到表盘上。若检测到用户选择的成人，则自动根据用户的平均作息时间以及成人的时间间隔安排提醒时间。该方法与基于衍生翻译的个性化事件提醒方案中的步骤二相同，这里不再赘述。

二、应用于智能眼镜的物体信息翻译

对于翻译系统来说，智能眼镜作为与人眼运动同步率最高的可穿戴式设备，相比其他终端，具有实时捕捉源端物体、可完全脱离双手操作的巨大优势。因此，本发明实施例六提供了一种应用于智能眼镜上的物体翻译方案。

智能眼镜上的物体信息翻译的处理过程分为两个步骤：

步骤一：获取源端物体信息

如图17(a)所示，若将智能眼镜当作显示设备，则可以通过手表与终端设备如手机PAD等通讯的方法进行数据传输，以此接收源端物体、目标端物体、衍生翻译，该方式与应用于智能手表的物体信息翻译方案中步骤一中所述的通讯方式相同，这里不再赘述。若将智能眼镜当作智能终端设备，则在实施二的方法步骤S1、S2或步骤S3、S4的基础上，进一步地提供眼球跟踪、视线聚焦的输入方式。通过跟踪用户的眼球，或者视线在物体上的停留时间，或者视线聚焦的位置来捕捉源端物体图片等信息并上传服务器进行翻译，然后按照单物体方案中的衍生翻译所述的步骤来生成衍生翻译。

步骤二：显示翻译出的目标端物体信息

如图17(b)所示，在眼镜上显示目标端物体，进一步地，还可以包括衍生翻译。显示方式包括：通过增强现实的方式将目标端物体、衍生翻译显示在眼镜上，比如通过半透明叠加的方式显示翻译结果。为了减少对用户视线的干扰，翻译结果在智能眼镜上的显示方式相比手机屏幕等终端的显示方式更为简洁，包括但不限于以下方式之一：可以只显示最关键的信息，比如翻译标识牌时只显示其含义，不显示额外的衍生翻译，也可以通过语音的方式将翻译后的文本进行播报；如图18(a)、18(b)所示，智能眼镜检测到标识牌，将其翻译成用户语言显示到眼镜上，并进行实时播报。

三、用户日志数据的反馈机制

本发明实施例六还提供了一种收集大用户使用日志数据作为反馈，提高物体翻译质量的方案，包括以下三个步骤：

步骤一：收集并分析用户日志，进一步地，收集源端物体的位置信息

收集用户的行为包括：用户点击目标端物体进入查看的次数，用户对目标端物体点赞的个数等。如图19所示，终端检测到用户点击了某个目标端物体之后，将该目标端物体的点击次数加1，终端检测到用户点击了赞以后，将该目标物体的点赞次数加1。

收集源端物体的位置方法为：终端启动物体信息翻译时，记录源端物体，以及终端当前位置，根据位置特点自动判断其是否是源端物体的一个来源，若是则将其加入到物体的知识图谱中的位置信息中。

步骤二：显示更新的翻译结果

通过反馈机制更新模型参数，例如，将点赞率或者点击率低的目标端物体赋予更高的错误权重，重新训练对齐模型中的对齐参数。根据重新训练的对齐模型更新翻译结果。

四、众包翻译反馈机制

本发明实施例六还提供一种通过众包翻译来优化翻译结果的方案，处理流程包括以下几步。

步骤一：分发翻译任务并收集翻译结果

当终端发出一条物体翻译请求时，除了执行如实施例二所述的翻译流程以外，还将翻译请求推送给其他用户，并邀请他们回答，如图20所示，回应该请求的用户称为回答用户。回答用户回应翻译请求的方式包括：可以通过直接从本发明提供的翻译结果中选择合适的答案，若对提供的所有候选均不满意，也可以通过输入物体的图片、文字描述、音频等方式提交答案，如图 21所示，回答用户输入多模态的物体信息后，系统通过文字识别、文本正则化、语音识别后，在知识图谱中查找匹配的物体。

步骤二：建立用户翻译模型，根据用户翻译模型更新翻译结果

所述建立用户翻译模型的方法具体描述为：收集回答用户的答案后，根据回答用户的个人资料对回答用户进行分类。对每一类用户的答案进行分析，并统计答案频率进行排序，为每个答案赋予排序相应的权重，得到带众包翻译反馈权重的源端物体到目标端物体的用户翻译模型。如图20的例子所示，根据用户的特征和答案，将回答用户分成三类，对每一类用户的回答情况进行分析和排序，用于计算下一次相似用户的翻译结果。

所述对用户答案进行分析的具体方法为：若检测到用户提供的翻译结果与已有知识库中的某个物体相匹配，则将<源端物体，目标端物体>的组合出现次数加1，若检测到用户提供的翻译结果与已有知识库中的所有物体均不匹配，则新建一个物体对象，并将<源端物体，目标端物体>的组合出现次数初始化为1。

当翻译系统再次收到这条物体翻译请求时，首先对请求用户进行分析并分类，这时的翻译结果将同时考虑机器翻译候选和带众包翻译反馈权重的翻译候选，计算综合考虑的分数，给出最终的翻译结果。

本发明实施例六提出了在可穿戴式设备上使用物到物机器翻译的方案。与移动设备相比，改变了数据的处理方式和呈现方式，从而适应可穿戴式设备的特点。为了更好的适应多用户特点、更好的利用多用户产生的用户数据，本发明提出了基于多用户的物体翻译方法，并建立基于大量用户数据的反馈机制，改善了翻译质量。

实施例七

考虑到，机器翻译质量对于输入文本的正规化程度、数据库和模型规模的依赖度很高，因此现有的商用机器翻译技术通常需要网络、云服务的支持，以及文本规范化处理。但是对于很多极端条件，比如网络受限、设备电量不足、输入的文字/声音/图像信息不完整等，目前机器翻译技术并未考虑，造成用户的使用体验欠佳。

因此，本发明实施例七提供了物体信息翻译方法在极端条件下的优化方案，包括解决输入物体信息不完整的方案，节省流量和电池的方案，以及设备在不同条件下的物体信息翻译输出方案。

一、规范不完整输入

在真实情况下，针对下列可能发生的输入信息不完整的场景：物品的包装残缺，或者物品包装文字或者图像模糊，或者上传的信息如源端图片中信息太少，如图22所示。为保证物体翻译结果的准确性，本发明提出一种允许多模态信息输入，以及信息补全的方案，包括以下几步：

步骤一：多模态输入信息的采集

终端设备将采集下述信息中的至少一种：图片信息、文字信息、音频信息等，上述信息可以是设备直接获取的或用户输入的，其中，可将音频转化为文字，然后再输入物体识别系统。

步骤二：分析、识别物体

该步骤与实施例二的步骤S2所述的分析、识别过程相同，但若输入的源端物体信息不完整，系统无法识别源端物体时，采用步骤三。

步骤三：启动搜索查找物体相关信息

若终端设备收集到的源端物体信息不足以识别物体，则启动网络搜索引擎或在本机内预先存储的数据库中，对图片和文字进行查找匹配，得到更多有关该物体的图片和文字，然后再将获得的图片和文字信息经过过滤规范化处理后再执行步骤二，若仍无法识别则重复此步骤二和步骤三，直至系统识别为止。

具体的，例如，若已有的源端物体信息在物体识别分类器中的得分低于设定阈值，我们称之为终端设备收集到的源端物体信息不足以识别物体，则启动网络搜索引擎，对图片和文字进行查找匹配，得到更多有关物体的图片和文字，然后再将获得的图片和文字信息经过过滤规范化处理后再执行步骤二，若仍无法识别则重复此步骤二和步骤三，直至系统识别为止，或者重复次数超过迭代阈值为止。这里的设定阈值和迭代阈值属于经验值。如图22 所示的源端图片，翻译系统根据该图片提取相应的识别特征，在物体识别系统中进行分类并识别，若识别得分低于设定阈值则启动搜索引擎，针对该图片的特征在网络上进行查找，并将前设定数量的查找结果返回给翻译系统，重新提取特征并重复以上过程，直到识别得分高于设定阈值，或者重复查找的次数超过了迭代阈值。最后获取最后一轮识别中，得分最高的物体作为识别结果。

二、菜品翻译

用户在就餐时会遇到国外的菜品和/或菜单等需要翻译的情况，此时如仅给出菜品名称的翻译，不能完全满足用户需求，需进一步地给出对应的国内菜品，以直观的提供菜品的配料、味道、食用方法等信息；

具体的，本实施例七所讨论的菜品(饭菜)翻译涉及无包装的菜品和/ 或菜单，由于不能直接获知配料、过敏源、热量、适用人群等信息，菜品翻译一般属于源端信息输入不完整的情况，首先按照规范不完整输入方案中所述的步骤在知识图谱中对源端菜品进行匹配识别，然后基于菜品的配料相似度、味道/气味/温度等特征，显示翻译出的目标端菜品，进一步地可基于匹配度进行排序。

另，对于终端能够直接获知名称、配料、过敏源、热量、适用人群等信息的菜品，例如有包装的菜品(属于有包装的食品)、具有详细说明的菜品，其翻译方法参照实施例二至实施例六提供的方案。这里以翻译印尼当地著名饮食脏鸭餐为例子阐述完整的翻译过程。

对于已有的熟食等菜品，源端获取到物体图片后上传服务器，然后经过上述步骤二和步骤三检测到源端物体为印度尼西亚的脏鸭，再通过实施例二的步骤S1获取图片特征、用户个性信息等将其翻译成用户所熟悉的菜品，如图23(a)所示，系统获取用户的目标语言为中文，并通过实施例二的步骤S2 所述的翻译系统抽取“脏鸭”的图片特征和文本特征(如食材：整只鸭子，烘焙方式：烤、炸，等等)，并在翻译模型的作用下得到多个中国菜品的候选翻译，比如烤鸭、酥炸鸭(图片特征和文本特征与源端相似)等。

进一步地，终端还可显示衍生翻译信息，其涉及的关键信息可以是如下至少之一：味道、气味、温度、颜色、配料、过敏源、烹饪方法等，其中味道包括但不限于下述至少之一：甜、咸、辣、酸、苦等，温度包括但不限于下述至少之一：冰、凉、温、热、烫，过敏源包括但不限于下述至少之一：花生、大豆、海鲜等。

进一步地，根据不同的个性化需求，系统将通过个性化的物体信息翻译方法所述步骤给出个性化的翻译结果和衍生信息。比如系统检测到用户对某种食材过敏或者不喜欢某种味道，则按照个性化的物体信息翻译方案将衍生翻译中的敏感内容如过敏源等进行高亮显示。例如若检测到用户对花生过敏，则在衍生信息的配料中对“花生”进行高亮显示以提醒用户注意，若检测到用户不吃猪肉，则在衍生信息的配料中对“猪肉”进行高亮显示以提醒用户注意，再比如若检测到用户不吃辣，则在衍生信息的“味道”一栏高亮含“辣”的有关内容。系统获取用户是否过敏、吃辣等敏感内容的方法如个性化的物体信息翻译方案所述。

进一步地，还可以基于用户操作等，提供脏鸭和烤鸭所包含的关键信息，如味道、气味、温度、颜色、配料、过敏源、食用方法、烹饪方法等的对比，如图23(b)、23(c)所示。图中对比了“脏鸭”和“烤鸭”在衍生信息上的区别，比如“口感”、“配料”、“颜色”、“食温”、“推荐食用方法”等。如就“口感”而言，“脏鸭”微辣、肉质非常干而且不油腻，而“烤鸭”肉质较肥、略油；就配料而言“脏鸭”采用了印尼多种香料，而“烤鸭”采用了中国常见的配料；在颜色、食温以及食用方法上也各有不同。如此对比显示，有助于用户一目了然的获取有用信息，为用户提供了方便快捷地对比途径。

进一步地，若源端为纯文本输入，例如菜单，如图24(a)所示，此时输入为多个不完整的物体描述，首先对每一个菜品名称进行文字识别，然后通过上述步骤二和步骤三将其匹配到知识图谱中的确定物体，并在终端源端捕捉区通过实施例三中方式一所述的增强现实的方式输出其图片和衍生信息，如图24(a)和图24(b)，同时通过实施例一至六中关于衍生翻译的方案，生成其对应的目标端菜品以及衍生信息，输出到终端的目标端显示区。进一步地，还可以通过实施例四中多物体的源端与目标端物体的自动比对的方案，提供源端和目标端菜品的衍生信息的比较结果，这里也可以通过实施例三所述的步骤三对翻译结果提供增强现实的可交互式操作，包括但不限于：选中源端捕捉区的某个菜品名后目标端显示区将只显示其对应的翻译结果，或者选中目标端显示区的某个菜品后在源端捕捉区自动高亮其对应的菜品名等。如图24(a)所示，源端输入为多个菜品名，在源端捕捉区按照实施例三中方式一所述采用AR显示源端菜品的翻译结果。同时在目标端显示区按照实施例二中多物体翻译的步骤S4和实施例四中多物体的衍生翻译的方案，给出翻译结果，若设备检测到用户对某个翻译结果进行了选中操作，如图24 (b)所示，检测到用户选中了“脏鸭”，该操作包括但不限于长按、点击源端菜品名翻译区中的某个翻译，长按、点击目标端显示区的某个翻译结果等，则自动在源端捕捉区内用AR方式显示对应源端菜品的详细信息，包括图片、衍生信息等，参见图24(c)给出的“脏鸭”对应源端菜品的详细信息，进一步地，按前述的方法在目标端显示区输出目标端对应菜品的信息，参见图 24(d)。

进一步地，对于在目标语言国家无法找到与源端菜品非常匹配的情况，系统将给出与之在综合各个特征后最接近的翻译结果，进一步地，给出相同点和不同点。比如将“四川火锅”翻译成日本菜，由于日本菜中没有与其非常对应的菜品，但是综合颜色、烹制方法、食用方法等特征后，给出最接近的翻译结果寿喜锅、牛肉火锅等，进一步地，将在对比模式下给出翻译结果与源端菜品的相同点和不同点，比如相同点包括：烹制方法为食材置于锅中加汤煮熟，不同点包括：口味、配料等等。

三、节省流量和电池的方法

进一步地，本发明实施例七提供一种节省流量和电池的方案，用以处理以下可能出现的场景，包括终端所在地没有wifi或者数据流量受限、用户希望节省数据流量和电池，比如出国旅游的目的地可能wifi覆盖不全，国际间数据流量费用昂贵等。处理过程包括以下几步。下述步骤在本发明实施例七的基本步骤之前进行。

步骤一：预测用户意图，提前预下载

终端通过检测分析用户日程、爱好、所处环境、运动状态等信息至少之一，预测用户意图。

具体的，例如，终端通过分析用户日历、和/或备忘录软件记录的信息获取用户日程信息；终端通过分析用户邮箱、短信、和/或通话记录记录的信息获取用户兴趣爱好相关信息；终端通过摄像头、麦克风、声音传感器、光线传感器、和/或湿度传感器获取用户所处的环境信息；终端通过速度传感器等来获取用户的运动状态等信息。根据所述的用户日程、爱好、所处环境、运动状态等信息预测用户可能的行动轨迹以及可能的翻译目标。预测模型可以通过有监督方法学习得到。

若终端检测到当前处于wifi条件下，提示用户下载跟目的地和/或翻译目标有关的翻译离线模型和数据库。

进一步地，该步骤还包括模型和数据库的分类、压缩和过滤步骤：

将数据库按照物体的类别不同进行细化分类，按照翻译场景不同分成食品类、药品类、化妆品类、体育用品类、标识牌类等。

通过熵方法/显著性检验等方法对翻译模型进行过滤，通过冗余信息检测和剪枝来过滤知识图谱数据库，通过AMR-EVS和H.265等编解码制式来压缩音频和视频数据库，通过JPEG的格式等来压缩图片数据库。

从而，若终端检测到当前处于wifi条件下，提示用户下载跟目的地和翻译目标有关的经过上述步骤细化、过滤和压缩的翻译离线模型和数据库。

如图25所示，所有数据库将根据类别进行归类、过滤和压缩，并建立索引，当终端检测到用户信息后，服务器对用户意图进行分类，然后提示用户在有wifi的条件下下载相应的数据库。

步骤二：离线使用数据库，进一步地，还可以离线使用精简后的数据库。

当终端设备检测到目前使用的网络是数据流量时，优先考虑根据下载的模型和数据库进行查找和翻译，减少终端与云服务的通信，同时，由于数据库规模得到了大幅度减小，在翻译过程中的搜索空间减少，避免了大量的运算，从而电量得到了节省。

四、不同状态下的输出策略

当设备处于不同的网络环境和不同的电量条件下，本发明实施例七提出了一种最优自适应策略，包括系统运行平台、使用模型的规模、以及多模态输出的形式，例如下表1所示。

若终端设备处于wifi连接并且电量充足时，本翻译系统的运行平台为远端服务器，使用的模型规模为整个数据库，翻译结果呈现方式可以是文本、图像、音频和/或视频；若终端设备处于无wifi连接且电量充足时，本翻译系统的运行平台为终端设备，使用的模型规模为过滤后的数据库，翻译结果的呈现方式只可以是文本图像和/或音频；若终端设备处于有wifi连接但电量不足的情况下，本翻译系统的运行平台为远端服务器，使用整个数据库，翻译结果只输出文本和/或图像；若终端设备处于无wifi且电量低时，本翻译系统

运行在终端设备上，使用过滤后的模型，只输出文本和/或图像。

表1最优自适应策略

本发明实施例七提出了针对各种情况的优化方案，包括模型和数据库的过滤和压缩方案，预判断与预下载方案，输入信息不完整的近似匹配方案，低电量时翻译结果呈现方案，提高了翻译系统的鲁棒性。

实施例八

基于实施例一提供的物体信息翻译方法，本发明实施例八提供了一种物体信息翻译装置，如图26所示，该装置包括：物体信息翻译单元201、信息输出单元202。

物体信息翻译单元201用于基于获取的源端物体信息，翻译得到与源端物体对应的目标端物体信息。用于基于获取的源端物体信息，识别待翻译的一个或多个源端物体。

信息输出单元202用于输出物体信息翻译单元201翻译得到的目标端物体信息.

本发明的方案中，实施例八提供的物体信息翻译装置中各单元的具体功能实现，可以参照实施例一提供的物体信息翻译方法的具体步骤，在此不再详述。

实施例九

本发明实施例九提供了一种衍生信息获取方法，如图27所示，其具体流程包括：

S301：基于获取的物体信息，确定物体关联的衍生信息。

具体地，可以基于获取的物体信息，识别出对应的物体。其中，获取的物体信息可包括如下至少一种模态：文字、图片、音频、视频等。

实际应用中，物体信息可以由终端直接捕捉获取，比如通过摄像头进行拍摄获取。或者，也可以从网络或其他设备获取传输的物体信息。获取的物体信息可以包含下述至少一项：物体对应的多媒体信息、从物体对应的多媒体信息中识别出的文本信息、物体对应的位置信息、搜索到的物体相关信息、用户输入的物体相关信息。例如，可以获取的物体信息可以是实时采集的图片，通过本发明实施例九提供方案实时生成对应该图片的衍生信息。

关于如何基于获取的物体信息识别对应的物体，可参考本发明实施例一至实施例二，在此不再赘述。

识别出物体之后，可以从预设的物体知识图谱数据库中，搜索识别的物体的预设属性对应的属性信息；将搜索到的属性信息确认为物体关联的衍生信息。其中，预设属性是根据物体的物体类别确定的。

或者，也可以基于物体对应的位置信息，确定物体关联的衍生信息。

实际应用中，识别出的物体为一个或多个。识别的物体为多个，且多个物体属于同一类别的组合物体时，可以通过如下至少一项，确定物体关联的衍生信息：

针对多个物体对应的组合物体，确定组合物体关联的衍生信息；

针对多个物体，分别获取各物体各自关联的衍生信息。

S302：输出确定出的衍生信息。

较佳地，本发明实施例九中，可以根据用户个人信息，确定获取的衍生信息对应的语言环境；基于确定出的语言环境显示衍生信息。

较佳地，还可以根据用户个人信息，定位出需要突出显示的衍生信息；突出显示定位出的衍生信息。

较佳地，还可以根据用户个人信息和/或获取的衍生信息，生成或变更相关的提醒事件。

关于实施例九中物体的衍生信息的确定方案，可以参考实施例一、实施例四和实施例五中有关衍生信息的确定方案，在此不再赘述。

基于上述信息获取方法，本发明实施例九还提供了一种衍生信息获取装置，如图28所示，包括：衍生信息获取单元401、信息输出单元402。

其中，衍生信息获取单元401用于基于获取的物体信息，确定所述物体关联的衍生信息。

信息输出单元402用于输出衍生信息获取单元401确定出的衍生信息。

本发明的方案中，实施例九提供的衍生信息获取装置中各单元的具体功能实现，可以参照实施例一提供的物体信息翻译方法、以及实施例九提供的信息获取方法的具体步骤，在此不再详述。

本发明提供的技术方案可以对物体本身进行翻译，而不仅仅是文字的翻译，以此可以有效防止文本的翻译无法完全覆盖翻译任务的需求。通过预先构建的物体对齐模型，可将用户不熟悉的国外的物体，翻译成用户熟知的国内对应物体；或者交换翻译方向，将国内的物体翻译成目标国家的对应物体。这样，相比现有的翻译对象只有文本，本发明提供的方案可满足用户对物体的翻译需求，扩展了机器翻译对象的范围，增强了翻译的适用性。

进一步地，本发明的方案在物体到物体的翻译的基础上提出了衍生翻译的概念。相比现有被动的翻译，本发明的方案中不仅仅可以给出源端物体的直译信息，而且还可以对源端物体所对应的目标端物体进行分析，给出有关目标端物体的衍生信息，以此补充翻译内容，增强用户对翻译内容的理解。

进一步地，本发明的方案还可以根据翻译发生的位置信息、用户信息、终端设备的类型等信息，调整翻译内容，以满足用户的不同实际翻译需求。

进一步地，本发明提出了在可穿戴式设备上使用物到物机器翻译的方法。与移动设备相比，改变了数据的处理方式和呈现方式，从而适应可穿戴式设备的特点。

进一步地，为了更好的适应多用户特点、更好的利用多用户产生的用户数据，本发明提出了基于多用户的物体翻译方法，并建立基于大量用户数据的反馈机制，用于改善翻译质量。

进一步地，本发明还提出了针对各种情况的优化方案，包括模型和数据库的过滤和压缩方案，预判断与预下载方案，输入信息不完整的近似匹配方案，低电量时翻译结果呈现方案，以提高翻译系统的鲁棒性。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM (Erasable ProgrammableRead-Only Memory，可擦写可编程只读存储器)、 EEPROM(Electrically ErasableProgrammable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。