多智能体标注场景下标注任务的真值发现方法
技术领域
本发明涉及标注数据集处理领域，尤其涉及一种多智能体标注场景下标注任务的真值发现方法。
背景技术
当今的智能系统(即AI系统)迫切需要大量已标注数据集来构建自己的智能模型。而未标注的数据集通常是通过人工标注来完成的，由于其多样化的质量和耗时的特性，无法满足当前智能系统快速发展的要求。
有很多基于机器学习模型和深度学习模型的API智能体标注服务，如：MLaaS、BaiduAI，可以提供更丰富，更快速的标注功能。如考虑构建智能图像检索AI系统，标注服务的买家需要为一个未标注数据集中的每个数据(如图像、语音、视频)全面添加语义标签的集合。买家可以在这些智能体标注平台上购买一系列API智能体标注服务，并使用其产生尽可能多的标签来描述每个图像，从而提高搜索结果的质量。
尽管可以使用各种标注智能体，但是买家在成功完成数据注释方面仍然有一些困难。如：(1)单个智能体标注的能力有限：单个标注智能体通常只能根据数据的某些方面输出部分标签。因此，在许多情况下，如图像检索和文本情感分析，通常需要一系列标签来获得对数据的广泛理解。并且，对于这些标注任务，通常收集的标签越多样化，所提供的服务越好。(2)每个标注智能体的多样性和可靠性未知：尽管现有工作已尽力提供功能日益强大的标注智能体以执行各种任务，但标注智能体的输出仍未必正确。每个标注智能体输出其自己的分类结果及其置信度。甚至可能有不同的标注智能体为同一任务输出完全不同的结果。(3)大量的标注任务对数据处理能力要求较高：买家通常要完成大量的标注任务,这意味着购买者获得的标注任务的标注结果的数量甚至更多,完成标签结果收集后，这将给买家带来巨大的数据处理挑战。
发明内容
针对现有技术所存在的问题，本发明的目的是提供一种多智能体标注场景下标注任务的真值发现方法，能解决现有智能体标注，所存在的单个智能体标注的能力有限、每个标注智能体的多样性和可靠性未知以及大量的标注任务对数据处理能力要求较高等问题。
本发明的目的是通过以下技术方案实现的：
本发明实施方式提供一种多智能体标注场景下标注任务的真值发现方法，包括：
步骤1，收集置信度：收集买家所购买标注服务的智能体提供给标注任务的标签的置信度；
步骤2，预处理：将所述步骤1收集的各标签的置信度与买家给定置信度阙值进行比较，将置信度高于所述买家给定置信度阙值的标签标记为真，将置信度低于或等于所述买家给定置信度阙值的标签标记为假；
步骤3，确定智能体的可靠性参数和标注任务的置信度参数：
利用所述步骤2确定真值后的标签，按以下公式确定智能体的可靠性参数：
上述公式(1)中，ρwk为智能体的可靠性参数，是智能体回答正确的标注任务数目与回答的标注任务总数的比值；xtw示全体标注任务T中的第t个标注任务；为智能体w提供给第t个标注任务的第k个标签的置信度；为第k个标签的真值；y为标签的置信度取值范围：0或1；⊥表示当前智能体没有为第t个标注任务的第k个标签提供置信度；
将所述步骤3确定的智能体的可靠性参数作为权重，按以下公式(2)、(3)对所收集的标签进行处理得出智能体的标注任务的置信度参数：
上述公式(2)、(3)中，为第k个标签的置信度分布，该参数的初始值通过均分随机分布给出；
通过迭代处理更新所述的智能体的可靠性参数与标注任务的置信度参数，直到当相邻迭代轮次得出的标注任务的置信度参数的变化差值的绝对值小于0.0001时，确认标注任务的置信度参数达到收敛，此时得到的标注任务的置信度参数即为最终标注任务的置信度参数；
步骤4，标注任务判断：将所述步骤3得到的最终标注任务的置信度参数与买家给定阙值比较，若高于买家给定阙值，则确认该标注任务的标签为正确标签。
由上述本发明提供的技术方案可以看出，本发明实施例提供的多智能体标注场景下标注任务的真值发现方法，其有益效果为：
通过联合估计智能体的可靠性和标注任务的标签的真值，针对智能API标注市场中的两个智能体以上的标注方案中，能估计每一个标注智能体的可靠性程度，并且输出标注任务的多个标签的推断结果及置信度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的多智能体标注场景下的可靠性估计与真值发现方法流程图；
图2为本发明实施例提供的方法的第一种概率图模型和参数示意图；
图3为本发明实施例提供的方法的第二种概率图模型和参数示意图；
图4为本发明实施例提供的方法的智能体标注模型的输出结果示意图。
具体实施方式
下面结合本发明的具体内容，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。
参见图1，本发明实施例提供一种多智能体标注场景下标注任务的真值发现方法，包括：
步骤1，收集置信度：收集买家所购买标注服务的智能体提供给标注任务的标签的置信度；
步骤2，预处理：将所述步骤1收集的各标签的置信度与买家给定置信度阙值进行比较，将置信度高于所述买家给定置信度阙值的标签标记为真，将置信度低于或等于所述买家给定置信度阙值的标签标记为假；
步骤3，确定智能体的可靠性参数和标注任务的置信度参数：
利用所述步骤2确定真值后的标签，按以下公式确定智能体的可靠性参数：
上述公式(1)中，ρwk为智能体的可靠性参数，是智能体回答正确的标注任务数目与回答的标注任务总数的比值；xt表示全体标注任务T中的第t个标注任务；为智能体w提供给第t个标注任务的第k个标签的置信度；为第k个标签的真值；y为标签的置信度取值范围：0或1；⊥表示当前智能体没有为第t个标注任务的第k个标签提供置信度；
将所述步骤3确定的智能体的可靠性参数作为权重，按以下公式(2)、(3)对所收集的标签进行处理得出智能体的标注任务的置信度参数：
上述公式(2)、(3)中，为第k个标签的置信度分布，该参数的初始值通过均分随机分布给出；
通过迭代处理更新所述的智能体的可靠性参数与标注任务的置信度参数，直到当相邻迭代轮次得出的标注任务的置信度参数的变化差值的绝对值小于0.0001时，确认标注任务的置信度参数达到收敛，此时得到的标注任务的置信度参数即为最终标注任务的置信度参数；
步骤4，将所述步骤3得到的最终标注任务的置信度参数与买家给定阙值比较，若高于买家给定阙值，则确认该标注任务的标签为正确标签。
上述方法中，所述相邻迭代轮次的标注任务的置信度参数的变化差值为相邻迭代轮次得出的标注任务的置信度参数直接相减值。
上述方法步骤3中，若标注任务的多个不同标签为独立分布的标签，分别为每个标注任务的多个不同标签单独获取置信度，每个标签的置信度为：
上述公式(4)中，P(yt|At，Ψ)表示每个标签的置信度；K表示每个标注任务的标签总数量；k表示所处理标签的序号；k取值从1至K；表示第k个标签的真值；Wt表示已经为第t个标注任务提供回答的标注任务集合；At表示第t个标注任务已收集的置信度集合；Ψ表示迭代的参数集合，为智能体的可靠性参数和标注任务的置信度参数的集合，t表示标注任务的序号。
上述方法步骤3中，若标注任务的多个不同标签为关联标签，则将每个标注任务的多个不同标签以隐马尔可夫模型HMM联合建模与推断，得出每个标签的置信度为：
上述公式(5)中，λt表示πt、的参数集合；表示两个标签同时包含或不包含的概率函数；表示隐马尔可夫模型HMM中观测状态生成概率函数，该函数能由所述公式(2)、(3)推导得到；πt表示K维的均值分布；K表示每个标注任务的标签总数量；k表示所处理标签的序号；k取值从1至K；表示第k个标签的真值；t表示标注任务的序号。
上述无论是标签独立分布，还是标签关联得出的每个标签的置信度，均用于上述步骤3的公式(1)中，替换来求解智能体的可靠性参数。
本发明的方法通过联合估计智能体的可靠性和标注任务的标签的真值，针对智能API标注市场中的两个智能体以上的标注方案中，能估计每一个标注智能体的可靠性程度，并且输出标注任务的多个标签的推断结果及置信度。
下面对本发明实施例具体作进一步地详细描述。
实施例
参见图1，本实施例提供一种多智能体标注场景下标注任务的真值发现方法，是一种为服务买家提供标注任务真值发现的方法，包括以下步骤：
步骤1，收集标注数据：对买家已购买的多个智能体的标注服务，收集记录这些智能体提供给标注任务的标签的置信度(参见图4)；
步骤2，预处理：对收集得到的标签的置信度进行预处理，将智能体回答的置信度高于买家给定置信度阙值的置信度，设为1，表示该置信度标注的标签是正确标签，否则将置信度设为0，表示该置信度标注的标签是错误标签；由于智能体提供给标注任务的标签的置信度是标签是否正确的概率，通常小于1(参见图4)，经过本步骤处理能对标注的置信度简单分为1或0，表示标签正确或标签错误，便于后续处理；
步骤3，确定智能体的可靠性参数和标注任务的置信度参数：
利用所述步骤2确定真值后的标签，按以下公式确定智能体的可靠性参数：
上述公式(1)中，ρwk为智能体的可靠性参数，是智能体回答正确的标注任务数目与回答的标注任务总数的比值；xt表示全体标注任务T中的第t个标注任务；为智能体w提供给第t个标注任务的第k个标签的置信度；为第k个标签的真值；y为标签的置信度取值范围：0或1；⊥表示当前智能体没有为第t个标注任务的第k个标签提供置信度(参见图2)；
将所述步骤3确定的智能体的可靠性参数作为权重，按以下公式(2)、(3)对所收集的标签进行处理得出智能体的标注任务的置信度参数：
上述公式(2)、(3)中，为第k个标签的置信度分布，该参数的初始值通过均分随机分布给出(参见图3)；
通过迭代处理更新所述的智能体的可靠性参数与标注任务的置信度参数，直到当相邻迭代轮次得出的标注任务的置信度参数的变化差值的绝对值小于0.0001时，确认标注任务的置信度参数达到收敛，此时得到的标注任务的置信度参数即为最终标注任务的置信度参数；
步骤4，标注任务判断：将所述步骤3得到的最终标注任务的置信度参数与买家给定阙值比较，若高于买家给定阙值，则确认该标注任务的标签为正确标签。
上述方法的步骤3中，若标注任务的多个不同标签为独立分布的标签，则分别为每个标注任务的多个不同标签单独获取置信度，每个标签的置信度为：
上述公式(4)中，P(yt|At，Ψ)表示每个标签的置信度；K表示每个标注任务的标签总数量；k表示所处理标签的序号；k取值从1至K；表示第k个标签的真值；Wt表示已经为第t个标注任务提供回答的标注任务集合；At表示第t个标注任务已收集的置信度集合；Ψ表示迭代的参数集合，为智能体的可靠性参数和标注任务的置信度参数的集合，t表示标注任务的序号。得出的每个标签的置信度P(yt|λt，At)替换公式(1)中的求解智能体的可靠性参数。
上述方法的步骤3中，若标注任务的多个不同标签为关联标签，则将每个标注任务的多个不同标签以隐马尔可夫模型HMM联合建模与推断，得出每个标签的置信度为：
上述公式(5)中，λt表示πt、的参数集合；表示两个标签同时包含或不包含的概率函数；表示隐马尔可夫模型HMM中观测状态生成概率函数；πt表示K维的均值分布；K表示每个标注任务的标签总数量；k表示所处理标签的序号；k取值从1至K；表示第k个标签的真值；t表示标注任务的序号。得出的每个标签的置信度P(yt|λt，At)替换公式(1)中的求解智能体的可靠性参数。
本领域普通技术人员可以理解：实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
