图像处理装置、图像处理方法以及计算机可读介质
技术领域
本公开涉及图像处理装置、图像处理方法以及计算机可读介质。
背景技术
日本专利第5302258号公报公开了一种用于对电子文档中的目标对象的定位的方法，该方法包括以下步骤：针对所输入的电子文档，识别存在于该电子文档的页内的应进行定位的第1目标对象和第2目标对象；检测针对所述第1目标对象的显著度，即，生成所述第1目标对象的显著度映射；基于针对所述第1目标对象的显著度的检测来生成关于所述第1目标对象的第1一维引导线轮廓的步骤中，将所述引导线轮廓基于所述显著度映射中的显著度的一维平均值作为特征；基于针对所述第2目标对象的显著度的检测，生成关于所述第2目标对象的第2一维引导线轮廓；基于所述第1引导线轮廓以及所述第2引导线轮廓对所述第1目标对象和所述第2目标对象定位并生成修正后的文档；以及输出所述修正后的文档。
日本专利第6023058号公报公开了一种图像处理装置，该图像处理装置具有：分割部，其针对多个图像的每一个图像，将图像内分割为多个节段；计算部，其根据一个图像内的不同节段间的关系性或者所述一个图像的节段与规定的其他图像的节段彼此的关系性，计算所述一个图像内的节段各自的重要度；以及分类部，其将所述分割后的节段分类成目标对象、前景和背景中的任意一个，所述计算部使用节段的关注度、节段的同现度以及目标对象重要度中的至少一个来计算所述节段的重要度，并且，所述计算部以越接近于在所述一个图像中被推定为拍摄者所关注的关注位置的节段，所述节段的关注度就越高的方式进行计算，并且，基于计算出的节段的关注度，计算前景节段和背景节段的重要度，所述计算部求出所述一个图像内的目标对象节段的重心，将以该图像的中心点为中心成为所述重心的点对称的位置作为所述关注位置来求出。
日本专利第6422228号公报公开了一种程序，该程序用于将配置有目标对象的页面显示在显示器上，使计算机作为受理单元以及显示单元发挥作用，该受理单元根据用户对在所述显示器中显示在所述页面之外的显示项目的指示，显示用于输入文本的输入画面，使表示在上述输入画面中输入的文本的文本对象成为要新插入到所述页面中的对象，进行受理，该显示单元显示插入有通过所述受理单元受理的文本对象的所述页面，能够在所述页面上以重叠方式显示多个目标对象，当所述受理单元受理到所述第一文本对象时所述第2文本对象已经被配置在所述页面上的预定位置处的情况下，所述显示单元显示如下页面，在该页面中，基于所述第2文本对象所配置的位置，使所述第1文本对象插入到不与所述第2文本对象重叠的位置。
发明内容
然而，有时需要在具有前景和背景的图像的背景中插入插入对象。
本发明的目的是提供一种图像处理装置、图像处理方法以及计算机可读介质，在将插入对象插入到具有前景和背景的图像的背景中时，能够以保持设计上的平衡的方式配置插入对象。
根据本公开的第一方案，提供了一种图像处理装置，该图像处理装置包括处理器，所述处理器执行如下处理：受理具有前景和背景的图像，受理插入对象，根据所述前景、所述背景以及所述插入对象各自的特征来计算配置所述插入对象的位置，以使所述插入对象配置在所述计算出的位置的方式进行输出。
根据本公开的第二方案，所述处理器求出所述前景的重心位置，根据所述前景的重心位置求出所述插入对象的重心位置。
根据本公开的第三方案，所述处理器以使所述插入对象的重心位置以所述图像的中心为中心与所述前景的重心位置成为对称位置的方式，求出所述插入对象的重心位置。
根据本公开的第四方案，所述处理器求出所述前景的重心位置，以使所述插入对象的重心位置属于所述背景的方式进行计算。
根据本公开的第五方案，所述处理器将所述前景相对于所述背景的色差考虑在内来求出所述前景的重心位置。
根据本公开的第六方案，所述处理器将所述插入对象相对于所述背景的色差考虑在内来求出所述插入对象的重心位置。
根据本公开的第七方案，所述处理器将与所述前景的类型有关的数据考虑在内来计算配置所述插入对象的位置。
根据本公开的第八方案，所述处理器将与所述插入对象的类型有关的数据考虑在内来计算配置所述插入对象的位置。
根据本公开的第九方案，在所述插入对象超出所述图像的情况下，所述处理器以使所述插入对象收纳在所述图像内的方式移动所述插入对象。
根据本公开的第十方案，在所述插入对象与所述前景重叠的情况下，所述处理器以使所述插入对象收纳在所述背景内的方式移动所述插入对象。
根据本公开的第十一方案，所述处理器受理第1插入对象和第2插入对象，根据所述前景、所述背景以及所述第1插入对象各自的特征来计算配置所述第1插入对象的位置，并且将所述第1插入对象添加为所述前景来计算配置所述第2插入对象的位置。
根据本发明的第十二方案，提供一种计算机可读介质，其中存储有使计算机执行处理的程序，所述处理具有如下步骤：受理具有前景和背景的图像；受理插入对象；根据所述前景、所述背景以及所述插入对象各自的特征来计算配置所述插入对象的位置；以及以使所述插入对象配置在所述计算出的位置的方式进行输出。
根据本公开的第十三方案，提供了一种图像处理方法，该图像处理方法具有如下步骤：受理具有前景和背景的图像；受理插入对象；根据所述前景、所述背景以及所述插入对象各自的特征来计算配置所述插入对象的位置；以及以使所述插入对象配置在所述计算出的位置的方式进行输出。
(效果)
根据所述第一、十二或十三方案，在将插入对象插入到具有前景和背景的图像的背景中时，能够以保持设计上的平衡的方式配置插入对象。
根据所述第二方案，能够根据前景的重心算出插入对象的重心位置。
根据所述第三方案，插入对象的重心能够配置在以图像的中心为中心的前景的重心位置的对称位置处。
根据所述第四方案，能够将插入对象配置在背景图像中。
根据所述第五方案，能够以前景相对于背景的色差为条件求出前景的重心位置。
根据所述第六方案，能够以插入对象相对于背景的色差为条件求出插入对象的重心位置。
根据所述第七方案，能够将前景的类型作为条件配置插入对象。
根据所述第八方案，能够以插入对象的类型作为条件配置插入对象。
根据所述第九方案，根据计算结果，在插入对象超出背景的情况下也能够将插入对象修正为包含在背景中。
根据所述第十方案，根据计算结果，在插入对象与前景重叠的情况下也能够将插入对象修正为包含在背景中。
根据所述第十一方案，即使在插入对象存在多个的情况下，也能够以保持设计上的平衡的方式配置多个插入对象。
附图说明
图1是表示本公开的实施方式的图像处理装置的硬件的框图。
图2是表示本公开的实施方式的图像处理装置的软件结构的框图。
图3是表示本公开的实施方式的图像处理装置中的用于构建显著性映射的处理的流程的流程图。
图4是表示本公开的实施方式的图像处理装置中的用于构建显著性映射的图像的变化的变化图。
图5是表示本公开的实施方式的图像处理装置中的对于图像类型的重要度系数的表格。
图6是表示本公开的实施方式的图像处理装置的动作流程的流程图。
图7是表示本公开的实施方式的图像处理装置中的前景图像和背景图像的剪切方法的说明图。
图8是表示本公开的实施方式的图像处理装置中的用于说明搜索附近配置空间的方法的说明图。
图9是用于说明本公开的实施例1中的处理的说明图。
图10是用于说明本公开的实施例1中的求出插入对象的重心位置的方法的说明图。
图11是用于说明本公开的实施例2中的处理的说明图。
图12是用于说明本公开的实施例2中的求出插入对象的重心位置的方法的说明图。
图13是用于所述本公开的实施例3中的处理的说明图。
图14是用于说明本公开的实施例3中的求出插入对象的重心位置的方法的说明图。
图15是用于说明本公开的实施例4中的处理的说明图。
图16是用于说明本公开的实施例4中的求出插图的重心位置的方法的说明图。
图17是用于说明本公开的实施例4中的求出文本的重心位置的方法的说明图。
图18是用于说明本公开的实施例5中的变更文本的尺寸和颜色的情况下的画面变更的说明图，图18的(a)示出变更前的画面，图18的(b)示出变更后的画面。
具体实施方式
接下来，参照附图详细说明本公开的实施方式。
图1示出了本公开的实施方式的图像处理装置10的硬件结构。
图像处理装置10具有处理器12、存储器14、存储装置16、操作显示装置接口18、通信接口20及输入接口22，这些处理器12、存储器14、存储装置16、操作显示装置接口18、通信接口20及输入接口22通过总线24连接。
处理器12基于存储在存储器14中的控制程序来执行预定的处理。存储装置16例如由硬盘构成，存储有必要的软件和数据。在操作显示装置接口18上连接有操作显示装置26。操作显示装置26设有触摸面板28及显示器30，从触摸面板28接受操作数据，向显示器30发送显示数据。
通信接口20经由LAN(局域网)32与终端装置或服务器连接，从终端装置或服务器接收图像，或者向终端装置或服务器发送图像。不限于LAN，也可以经由因特网与终端装置或服务器连接。
输入接口22与鼠标34及键盘36连接，输入来自鼠标34及键盘36的操作信号或操作数据。
图2示出了用于实现图像处理装置10的功能的软件结构。
图像处理装置10具有被插入对象图像受理部38和插入对象受理部40。
被插入对象图像受理部38受理具有前景和背景的图像。插入对象受理部40受理成为插入对象的图像。被插入对象图像受理部38受理在所述存储装置16中存储的图像以及经由通信接口20从终端装置以及服务器发送来的图像等。同样地，插入对象受理部40除了受理在存储装置16中存储的图像以及经由通信接口20从终端装置以及服务器发送来的图像以外，还受理作为文本形成的图像。在受理的图像中包括文本、标识、插图和图像。
如后所述，前景背景剪切部42基于背景图像的显著性映射，剪切由被插入对象图像受理部38受理的图像的前景和背景。
如后所述，前景图像重心计算部44基于前景图像与背景图像之间的色差、插入对象与背景图像之间的色差、与前景的类型相关的视觉上的重要度等的特征，使用矩计算前景的重心位置。
如下所述，插入对象重心计算部46以根据图像中心与前景图像的重心位置对称的方式计算插入对象配置空间的重心位置。
如后所述，插入对象配置判定部48判定由插入对象重心计算部46计算出的插入对象是否收纳在背景图像中。例如，判定插入对象是否未超出被插入对象图像，或者是否未与前景图像重叠。
如下所述，当插入对象配置判定部48判定为插入对象未收纳在背景图像内的情况下，插入对象配置变更部50以使插入对象收纳在背景图像内的方式变更插入对象的配置。
结果显示控制部52以在上述显示器上显示将插入对象插入到背景图像中的状态的方式进行控制。
如后所述，重要度数据库54是存储有按照图像的每个类型预先设定的图像的视觉上的重要度的数据库。
接着，对在前景背景剪切部42中实施的背景图像的显著性映射的构建进行说明。
图3表示用于构建显著性映射的流程图，图4表示执行流程时的图像的变化。当输入图4的(a)所示的被插入对象图像(原始图像)时，首先，在步骤S10中，通过作为非分层群集分析法的一种的Kmeans使原始图像减色。Kmeans也称为K平均法，是非分层群集分析法中的一种。当通过Kmeans使原始图像减色时，如图4的(b)所示，生成减色后的图像。
在接下来的步骤S12中，提取表示减色后的原始图像的每个像素值的频度的直方图。在接下来的步骤S14中，提取与在步骤S12中提取出的直方图对应的R、G、B的各通道的像素值和被称为阿尔法通道的表示透过的像素值的内容。
在接下来的步骤S16中，将比预先确定的阈值亮的像素值所表示的内容提取为显著性映射。若作为显著性映射进行提取，则如图4的(c)所示，能够区分前景和背景。进而，在步骤S18中，当进行模糊处理时，如图4的(d)所示，显著区域能够集中，由此能够切出前景和背景。
接下来，说明由前景图像重心计算部44计算的前景图像的重心计算方法。
式(1)是在XY正交坐标系中计算物理上的重心位置的一般式。
通过将1次矩除以0次矩来求出重心位置。
这里，在求重心位置时，如果加上色差与重要度的要素，则成为式(2)。
f(x，y)＝αx，yw(x，y)
w(x，y)是前景与背景的色差，αx，y是根据前景图像的类型预先设定的表示重要度的系数。
W(x，y)由式(3)计算。
在此，Rx，y、Gx，y、Bx，y是RGB颜色空间中的前景图像的各像素的RGB值，Rbg、Gbg、Bbg是RGB颜色空间中的背景的RGB的平均值(以下称为主颜色。)。
另外，作为颜色空间，不限于RGB，可以使用HSV或Lab。
另外，在前景图像中包含标识以及文本作为插入对象的情况下，如式(4)那样计算。
其中，centerimg是原始图像的中心，αimg是前景图像的重要度，αtext是文本的重要度，αlogo是标识的重要度，Wimg是图像的色差，wtext是文本的色差，Wlogo是标识的色差。
此外，在图5中示出了存储在重要度数据库54中的图像的每个类型的重要度。是由已有作品或专业设计者汇总的结果，例如文本容易受到关注，设定为1.0，与建筑物相比人更容易受到关注，因此建筑物设定为0.05，相对地，人设定为0.1。
下面，说明由上述的处理器12执行的动作流程。
图6中示出表示处理器12的操作流程的流程图。
首先，在步骤S20中，提取被插入对象图像的显著性映射。在接下来的步骤S22中，确定显著区域并剪切前景和背景。该剪切出的前景和背景，如图7所示，将层分为前景图像层56和背景图像层58而暂时存储。
在接下来的步骤S24中，基于前景和背景之间的色差，使用上述的式(1)和(2)来计算前景图像的重心位置。在接下来的步骤S26中，识别前景和插入对象的类型，从重要度数据库54读入重要度系数。
在接下来的步骤S28中，将以图像中心为中心与前景的重心位置对称的位置作为插入对象的重心位置来计算插入对象的重心位置。
在接下来的步骤S30以及步骤S32中，判定插入对象是否与前景图像重叠或者插入对象是否超出背景图像。在步骤S30以及步骤S32中，在判定为插入对象不与前景图像重叠且未超出背景图像的情况下进入步骤S34，显示插入有插入对象的图像并结束处理。即，如图8所示，在背景是可以配置插入对象的空余空间且插入对象被收纳于该背景的情况下，显示插入有插入对象的图像并结束处理。
另一方面，在步骤S30中，在判定为插入对象与前景图像重叠的情况下，进入步骤S36。在该步骤S36中，根据重心对称线(隔着图像的中心将前景图像的重心和插入对象的重心连结起来的线)，使插入对象向空余空间移动。另外，在步骤S32中，在判断为插入对象超出背景的情况下，进入步骤S38。在该步骤S38中，根据重心对称线使插入对象向背景内移动。
在接下来的步骤S40中，判定是否存在配置插入对象的空余空间。在该步骤S40中，在判定为存在配置插入对象的空余空间的情况下，进入步骤S34，显示插入有插入对象的图像并结束处理。
在步骤S40中，在判定为没有空余空间的情况下进入步骤S42，实施第二阶段的空余空间的搜索。即，如图8所示，使插入对象的重心位置逐渐向周围移动，判定插入对象是否收纳在背景图像内。在该实施方式中，设最初计算出的插入对象的重心位置为X＝0，Y＝0，例如以X＝-1，Y＝0→X＝0，Y＝1→X＝1，Y＝0→X＝-1，Y＝-1→X＝2，Y＝0的方式向周围移动插入对象的重心位置，搜索插入对象的空余空间。在该步骤S42中，在存在空余空间的情况下进入步骤S34，显示插入有插入对象的图像并结束处理。在即使执行步骤S42的处理也未发现空余空间的情况下，进行警报显示并结束处理。
接下来，说明本公开的实施例。
图9及图10表示实施例1。
在该实施例1中，如图9所示，在302×360像素的原始图像的背景图像中插入由“海外旅行”这样的文本构成的插入对象。设置文本框的尺寸并输入文本。文本框是用于输入文本的框，文本框的方向是纵向。
前景图像被识别为建筑物，背景图像的主颜色(Rbg、Gbg、Bbg)如下所示。
背景图像的主颜色(Rbg、Gbg、Bbg)＝(181，195，206)
利用前景图像的各像素(x，y)的RGB数据与背景图像的主彩色的RGB数据的色差w(x，y)，根据上述式(1)、(2)、(3)来求出前景图像的重心。
作为该结果，前景图像的重心位置(xfg，yfg)如下所示。
前景图像的重心位置(xfg，yfg)＝(228，237)
另外，原始图像的中心(ximgC，yimgC)＝(151，180)。
建筑物和文本的重要度如下所示。
建筑物的重要度αfg＝0.05
文本的重要性αtxt＝1.0
在插入对象作为图像输入的情况下，变换为文本并设定重要度。
如图10所示，以将图像的中心(imgC)作为中心相对于前景图像的重心位置(fg)对称的方式，根据式(5)、(6)，以使前景图像和插入对象的矩平衡的方式计算作为文本的插入对象的重心位置(txt)。
作为其结果，如图10所示，插入对象的重心位置(xtxt，ytxt)如下所示。
插入对象的重心位置(xtxt，ytxt)＝(59，112)
图11及图12表示实施例2。
在该实施例2中，如图11所示，在360×310像素的原始图像的背景图像中插入由“京都散步”文本构成的插入对象。文本框的方向为纵向。
前景图像被识别为建筑物，背景图像的主颜色(Rbg、Gbg、Bbg)如下所示。
背景图像的主颜色(Rbg、Gbg、Bbg)＝(167，203，204)
与实施例1同样地计算前景图像的重心位置，如下所示。
前景图像的重心位置(xfg，yfg)＝(215，192)
另外，原始图像的中心(ximgC，yimgC)＝(180，155)。
建筑物和文本的重要度如下所示。
建筑物的重要度αfg＝0.05
文本的重要性αtxt＝1.0
与实施例1同样地计算插入对象的重心位置，如下所示。
插入对象的重心位置(xtxt，ytxt)＝(141，41)
作为其结果，如图12所示，插入对象超出原始图像。
因此，如上述步骤S38所示，根据重心线移动插入对象，在下一位置插入对象被收纳在背景图像内。
移动后的插入对象的重心位置(xtxt，ytxt)＝(145，51)
图13及图14表示实施例3。
在该实施例3中，如图13所示，在360×239像素的原始图像的背景图像中插入由“自然保护协会”文本构成的插入对象。文本框的方向是横向。
前景图像被识别为动物，背景图像的主颜色(Rbg、Gbg、Bbg)如下所示。
背景图像的主颜色(Rbg、Gbg、Bbg)＝(184，199，216)
与实施例1同样地计算前景图像的重心位置，如下所示。
前景图像的重心位置(xfg，yfg)＝(221，180)
另外，原始图像的中心(ximgC，yimgC)＝(180，119)。
建筑物和文本的重要度如下所示。
动物的重要度αfg＝0.1
文本的重要性αtxt＝1.0
与实施例1同样地计算插入对象的重心位置，如下所示。
插入对象的重心位置(xtxt，ytxt)＝(131，47)
作为其结果，如图14所示，插入对象与前景图像重叠。
因此，如上述的步骤S36所示，根据重心线移动插入对象，在下一位置插入对象不与前景图像重叠。
移动后的插入对象的重心位置(xtxt，ytxt)＝(34，21)
图15、图16及图17表示实施例4。
在本实施例4中，如图15所示，在360×240像素的原始图像的背景图像中插入由插图和“儿童照相馆”的文本构成的插入对象。文本框的方向为纵向。
前景图像被识别为人，背景图像的主颜色(Rbg、Gbg、Bbg)如下所示。
背景图像的主颜色(Rbg、Gbg、Bbg)＝(200，198，207)
与实施例1同样地计算前景图像的重心位置，如下所示。
前景图像的重心位置(xfg，yfg)＝(166，142)
另外，原始图像的中心(ximgC，yimgC)＝(180，120)。
提取人、插图及文本的重要度系数，首先将插图插入背景图像上。
插图的配置空间与前景图像重叠，如图16所示，将插图的重心移动到附近的空余空间。结果，插图的重心位置如下所示。
插图的重心位置(xillus，yillus)＝(238，90)
接着，将文本插入到背景图像中，但包含插图来作为被插入对象图像地进行处理。即，将插图包含在前景图像中，重新计算前景图像的重心位置。
作为重新计算的结果，新前景重心位置如下所示。
新前景重心位置(xfg，yfg)＝(185，110)
当以新前景重心位置为基准来计算文本的配置重心位置时，如图17所示，文本的配置空间与前景图像重叠，将文本的重心位置移动到附近的空余空间。其结果，如下所示，文本被配置在背景图像中。
文本的重心位置(xtxt，ytxt)＝(74，110)
图18表示实施例5。
实施例5是将文本作为插入对象来变更文本的尺寸(宽度和高度)并且变更文本的颜色的情况的例子。
即，图18示出了在上述的显示器30上显示的画面。在该画面中，在画面的左侧配置有操作指示部60，在右侧配置有结果显示部62。操作指示部60具有文本尺寸指定部64和文本颜色指定部66。文本尺寸指定部64指定文本的尺寸。文本颜色指定部66指定文本的颜色。文本颜色指定部66能够指定在结果显示部62的图像中使用的颜色。与将文本的颜色设为黑色的情况相比，通过将图像所使用的颜色设为文本的颜色，减少了不协调感。但是，文本的颜色也可以指定白色或黑色。
当前，如果通过文本尺寸指定部64增大文本的尺寸，通过文本颜色指定部66使文本的颜色变浓，则结果显示部62的显示从图18的(a)的状态变化为图18的(b)的状态。
这里，由于文本的尺寸增大，文本与背景图像的色差变大，因此文本的重量增大，文本向画面中心移动。
在上述实施方式中，处理器是指广义的处理器，包括通用的处理器(例如CPU：Central Processing Unit等)、专用的处理器(例如GPU：Graphics Processing Unit、ASIC：Application Specific Integrated Circuit、FPGA：Field Programmable GateArray、可编程逻辑设备等)。
另外，上述实施方式中的处理器的动作不仅由一个处理器来实现，也可以是存在于物理上分离的位置处的多个处理器协作来实现。此外，处理器的各动作的顺序不仅限于上述各实施方式中记载的顺序，也可以适当变更。
- 上一篇：石墨接头机器人自动装卡簧、装栓机
- 下一篇：自动绘制铁路信号机箱盒配线图的方法
