终端设备的绘制内容处理方法、装置及终端设备
本申请为申请号201610225186.X,发明名称为“终端设备的绘制内容处理方法、装置及终端设备”的发明专利申请的分案申请。
技术领域
本发明涉及终端领域,具体而言,本发明涉及一种终端设备的绘制内容处理方法及其装置,同时还涉及一种终端设备。
背景技术
由于终端的屏幕尺寸有限,在现有技术中,用户使用终端设备绘制内容时,需要不断地进行手动缩放、拖动操作来寻找绘制焦点(如图1a及图1b所示),用户的操作非常繁琐,绘制内容效率较低,灵活性较差,且经过多次手动缩放、拖动操作后,用户不容易再找到之前的绘制位置。当用户进行了局部细节绘制后,经常会想查看绘制效果再继续绘制,在现有技术中全部由手动操作,操作频繁且绘制灵感易被打断。
同时,在用户勾勒出轮廓之后需要对各个绘制目标逐个进行细节补充时,用户若想切换绘制目标则需要缩小、拖动、放大画布一系列手动操作,若两个绘制对象距离较远时,此操作过程更为不便。
发明内容
为了解决现有技术中,用户使用终端设备绘制内容时手动寻找绘制焦点导致的操作繁琐、绘制效率低、灵活性较差的问题,本发明一个实施例提供一种终端设备的绘制内容处理方法,包括如下步骤:
基于用户的绘制操作,对用户绘制焦点进行定位;
根据定位的绘制焦点,对终端设备显示的绘制内容进行相应处理。
其中,所述用户的绘制操作包括下述至少一项:
用户选择绘制焦点的操作、用户落笔操作、绘制笔悬停操作。
优选的,所述用户落笔操作和/或绘制笔悬停操作,基于绘制笔与终端设备之间的距离确定。
进一步,用户的绘制操作包括:用户落笔操作,和/或,绘制笔悬停操作;
基于用户的绘制操作,对用户绘制焦点进行定位,包括下述至少一项:
将绘制笔在终端屏幕上的映射位置确认为用户绘制焦点;
根据所述映射位置所在局部区域的绘制内容相关信息,确定用户绘制焦点;
根据历史绘制焦点确定用户当前绘制焦点。
可选的,所述映射位置所在局部区域的绘制内容相关信息包括下述至少一项:
绘制内容的线条粗细、绘制内容的线条密集程度、绘制内容的线条形状、绘制内容的线条颜色、绘制内容的纹理信息、绘制内容的边界信息。
可选的,根据历史绘制焦点确定用户当前绘制焦点,包括下述至少一项:
将历史绘制焦点确认为用户当前绘制焦点;
若所述映射位置与历史绘制焦点之间的距离在预设距离阈值范围内,则将所述历史绘制焦点确认为用户当前绘制焦点,否则,将所述映射位置确认为用户当前绘制焦点。
具体的,对终端设备显示的绘制内容进行相应处理包括下述至少一项:
放大处理、缩小处理、移动绘制焦点的显示位置、切换绘制对象、显示绘制参考信息、调整绘制内容的分辨率、扩展承载绘制内容的画布。
具体的,根据修改绘制笔参数的操作、绘制焦点对应的绘制内容相关信息、用户指令中的至少一项,触发所述放大处理。
进一步,根据修改绘制笔参数的操作和/或绘制焦点对应的绘制内容相关信息,触发对绘制内容进行放大处理,包括:
根据修改绘制笔参数的操作和/或绘制焦点对应的绘制内容相关信息,估计用户的绘制意图;
若估计出用户的绘制意图为精细绘制,则触发对绘制内容进行放大处理。
优选的,所述放大处理执行的放大倍数通过下述至少一项来确定:
修改绘制笔参数的操作、绘制焦点对应的绘制内容相关信息、绘制笔与终端设备的距离、落笔速度、终端屏幕尺寸。
优选的,所述绘制笔参数包括笔型、线型、线条颜色、纹理信息中的至少一项。
可选的,所述绘制焦点对应的绘制内容相关信息包括下述至少一项:
绘制内容的线条粗细、绘制内容的线条密集程度、绘制内容的线条形状、绘制内容在画布中的比例、绘制内容在终端屏幕显示的画布区域中的比例;所述绘制内容的历史处理信息、与所述绘制内容关联的已绘制内容的历史处理信息。
可选的,根据用户抬笔操作、用户指令、绘制焦点对应的绘制内容的历史处理信息中的至少一项,触发所述缩小处理。
可选的,所述缩小处理执行的缩小倍数通过下述至少一项来确定:
绘制笔与终端设备的距离、抬笔速度、绘制焦点对应的绘制内容的历史处理信息、与绘制焦点对应的绘制内容的相关性、终端屏幕尺寸。
可选的,所述与绘制焦点对应的绘制内容的相关性包括下述至少一项:时间相关性、空间相关性、绘制对象相关性、风格相关性。
具体的,移动绘制焦点的显示位置,包括:
将用户绘制焦点移动到终端屏幕的预设位置进行显示;和/或
移动用户绘制焦点的显示位置,将绘制焦点与绘制笔在终端屏幕上的映射位置对应。
可选的,根据用户抬笔操作、用户指令、绘制对象间的相似性、待绘制的绘制对象的显示位置、绘制焦点对应的绘制内容的历史处理信息中的至少一项,触发切换绘制对象。
具体的,根据下述至少一项确定切换后的绘制对象:
与用户绘制焦点对应的绘制对象之间的距离;
与用户绘制焦点对应的绘制对象之间的相似性;
用户指令。
进一步,还包括步骤:依据切换后的绘制对象的大小调整画布的缩放比例。
具体的,所述用户抬笔操作,基于绘制笔与终端设备之间的距离确定。
可选的,根据画布缩放比例变化、用户指令中的至少一项,触发调整绘制内容的分辨率。
具体的,根据当前画布尺寸、终端屏幕尺寸以及终端屏幕分辨率确定调整后的分辨率。
优选的,调整绘制内容的分辨率包括下述至少一项:插值处理、自然边界光滑处理、线条内部光滑处理、轮廓调整。
可选的,根据绘制笔运动趋势、终端屏幕显示的画布区域、用户指令中的至少一种,触发扩展承载绘制内容的画布。
进一步,扩展承载绘制内容的画布之后,还包括:
根据绘制笔在画布中的绘制轨迹以及绘制笔运动趋势,在扩展的画布中拟合出用户的绘制内容。
具体的,显示绘制参考信息,包括:
根据绘制焦点对应的绘制内容,查找绘制参考信息,并显示查找到的绘制参考信息。
具体的,根据绘制焦点对应的绘制内容,查找绘制参考信息,包括:
根据与绘制焦点对应的绘制内容的内容相似性和/或风格相似性,查找绘制参考信息。
进一步,还包括步骤:
基于绘制焦点对应的绘制内容的显示方式,调整所述绘制参考信息的显示方式。
具体的,所述显示方式包括缩放比例和/或显示位置。
本发明的另一个实施例提供一种终端设备的绘制内容处理装置,包括:
定位模块:用于基于用户的绘制操作,对用户绘制焦点进行定位;
处理模块:用于根据定位的绘制焦点,对终端设备显示的绘制内容进行相应处理。
本发明的又一实施例还提供一种终端设备,其用于执行所述绘制内容处理方法。
本发明所述方法、装置或终端设备根据用户的绘制操作定位绘制焦点,并基于所述绘制焦点对终端设备显示的绘制内容做相应处理,简化了用户为寻找绘制焦点对画布进行手动缩放和拖动的频繁处理,提高了用户绘制效率,且提高了用户使用终端设备绘制内容的灵活性。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1a为现有技术中,手动缩放画布示意图;
图1b为现有技术中,手动拖动画布示意图;
图2为本发明实施例中,终端设备绘图流程图;
图3为本发明实施例中,终端设备的绘制内容处理方法流程示意图;
图4为本发明实施例中,用户圈选绘制焦点的示意图;
图5为本发明实施例中,根据落笔位置确定绘制焦点的示意图;
图6为本发明实施例中,根据落笔位置所在的封闭局部区域确定绘制焦点的示意图;
图7为本发明实施例中,修改笔型示意图;
图8a和图8b为本发明实施例中,绘制焦点对应的绘制内容示例图;
图9为本发明实施例中,抬笔查看整体绘制效果示意图;
图10为本发明实施例中,画布缩放比例随抬笔高度的变化坐标示意图;
图11为本发明实施例中,不同终端设备上画布缩放比例随抬笔高度的变化坐标示意图;
图12为本发明实施例中,切换绘制对象示意图;
图13为本发明实施例中,终端屏幕显示整个画布的示意图;
图14为本发明实施例中,自适应调整分辨率示意图;
图15为本发明实施例中,画布分辨率与画布缩放比例的关系坐标示意图;
图16a为本发明实施例中,终端显示分辨率与画布缩放比例关系坐标示意图;
图16b为本发明实施例中,终端显示屏幕尺寸与画布缩放比例关系坐标示意图;
图17为本发明实施例中,边界平滑处理示意图;
图18为本发明实施例中,内部细节补充示意图;
图19为本发明实施例中,局部微调示意图;
图20为本发明实施例中,扩展画布过程示意图;
图21为本发明实施例中,补充笔迹尾端效果示意图;
图22a为本发明实施例中,画布扩展效果示意图;
图22b为本发明实施例中,虚拟画布效果示意图;
图23为本发明实施例中,推荐参考图片效果示意图;
图24为本发明实施例中,动态调整参考图片的显示方式的效果示意图;
图25为本发明实施例中,风格推荐绘画示意图;
图26为本发明所述一种终端设备的绘制内容处理装置结构示意图;
图27为本发明所述终端设备在绘图过程中的具体处理的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
用户绘画时的绘制顺序通常为:先勾勒出整体轮廓布局,再逐个填充细节信息。基于用户的绘画习惯,本发明提供一种智能绘画系统,其基本流程图如图2所示,用户勾勒轮廓时系统自动识别绘制对象,并对相似的绘制对象归类;在用户逐个针对绘制对象填充细节信息时,系统根据用户选择绘制焦点的操作、用户落笔操作、绘制笔悬停操作等,智能定位用户绘制焦点,自动根据修改绘制笔参数的操作、绘制焦点对应的绘制内容相关信息、用户指令等,触发智能放大画布的功能,并计算画布的放大倍数,基于绘制焦点智能放大画布,避免了用户频繁手动放大画布的操作。
在用户绘制对象细节时,系统根据用户绘制细节过程中的抬笔操作、用户指令、绘制焦点对应的绘制内容的历史处理信息等,触发智能缩小画布的功能,若系统判断用户想要查看全局内容,则可以直接显示整个画布,否则系统计算画布的缩小倍数,基于绘制焦点智能缩小画布,避免了用户频繁手动缩小画布的操作。
用户抬笔后再次落笔时,系统判断是否需要切换绘制对象,若不需要切换绘制对象,则系统可以移动绘制焦点的显示位置,例如,将绘制焦点与绘制笔在终端屏幕上的映射位置对应,用户无需手动拖动画布来查找绘制焦点,可以直接在抬笔前的位置继续绘制细节内容。
若需要切换绘制对象,则系统可以根据与用户绘制焦点对应的绘制对象之间的距离、相似性、用户指令,确定切换后的绘制对象,系统自动切换绘制对象,切换绘制对象后,切换后的绘制对象对应用户当前的绘制焦点,系统基于切换后的绘制对象的大小调整画布的缩放比例,用户只需要针对切换后的绘制对象继续绘制细节内容即可,无需手动拖动画布来选择下一个绘制对象。
基于上述原理,参考图3所示,本发明一个实施例提供一种终端设备的绘制内容处理方法,具体包括如下步骤:
S101、基于用户的绘制操作,对用户绘制焦点进行定位;S102、根据定位的绘制焦点,对终端设备显示的绘制内容进行相应处理。
本发明实施例所述绘制焦点即用户需要绘制的局部区域或位置,其中,步骤S101中所述用户绘制操作包括以下至少一项:用户选择绘制焦点的操作、用户落笔操作、绘制笔悬停操作。
一、根据用户选择绘制焦点的操作确定绘制焦点具体方式如下:
用户在画布上直接选择需要绘制的局部区域或位置,如图4所示,用户在显示屏幕上通过圈选的方式选择需要绘制的局部区域,或者用户直接在显示屏幕上点击选择需要绘制的位置,终端设备检测到用户的操作后,将用户选择的局部区域或位置,确认为用户需要绘制的局部区域或位置,即用户绘制焦点。
在图4中,用户选择绘制焦点后,终端设备根据定位出的绘制焦点自动放大画布,用户可以在放大后的画布上针对绘制焦点进行精细绘制。
二、用户落笔操作和/或绘制笔悬停操作,基于绘制笔与终端设备之间的距离确定。具体的,基于所述用户的落笔操作和/或绘制笔悬停操作对绘制焦点进行定位包括以下至少一项:
1、将绘制笔在终端屏幕上的映射位置确认为用户绘制焦点;
终端设备可以检测绘制笔与终端设备之间的距离,当绘制笔与终端设备之间的距离达到设定的触发距离时,终端设备检测到落笔事件。此时绘制笔当前在屏幕上的映射位置,即为绘制笔的落笔位置,以此位置作为用户需要绘制的位置,即绘制焦点。
同理,终端设备可以检测绘制笔与终端设备之间的距离,当绘制笔与终端设备之间的距离达到设定的触发距离,并停留一段时间时,终端设备检测到绘制笔悬停事件。此时绘制笔当前在屏幕上的映射位置,即为绘制笔的悬停位置,以此位置作为用户需要绘制的位置,即绘制焦点。
2、根据所述映射位置所在局部区域的绘制内容相关信息,确定用户绘制焦点;
映射位置所在局部区域的绘制内容相关信息包括下述至少一项:绘制内容的线条粗细、绘制内容的线条密集程度、绘制内容的线条形状、绘制内容的线条颜色、绘制内容的纹理信息、绘制内容的边界信息。
终端设备检测到绘制笔的落笔位置或悬停位置后,根据落笔位置或悬停位置处绘制内容的线条的粗细、线条的密集程度、线条颜色、线条形状、纹理信息等,在画布中确定出落笔位置或悬停位置所在的局部区域,将该局部区域作为用户的需要绘制的局部区域,即用户绘制焦点。
如图5所示,终端设备检测到用户的落笔位置为动物眼睛,而动物眼睛的线条较细、且线条较密集,颜色均为黑色,与其他区域的差别较大,因此可以将动物眼睛这一区域确认为用户的绘制区域。在图5中,终端设备根据定位出的绘制焦点自动放大画布,用户可以在放大后的画布上针对绘制焦点进行精细绘制。
此外,终端设备还可以根据落笔位置或悬停位置处的绘制内容的边界信息(如边界轮廓)来定位绘制焦点,例如,根据落笔位置或悬停位置处的绘制内容的边界信息,终端设备可以确定出落笔位置或悬停位置所在的封闭局部区域,将确定出的封闭局部区域作为用户的需要绘制的局部区域,即用户绘制焦点。
如图6所示,终端设备检测到绘制笔的落笔位置,可以提取落笔位置所在区域的边界轮廓,从而确定出落笔位置所在的封闭局部区域。在图6中,终端设备根据定位出的绘制焦点自动放大画布,用户可以在放大后的画布上针对绘制焦点进行精细绘制。
3、根据所述映射位置与历史绘制焦点之间的距离,确定用户当前绘制焦点。
其中,历史绘制焦点包括下述至少一项:
用户上一次绘制内容时的绘制焦点;用户抬笔后再次落笔时,抬笔前的绘制焦点;用户之前绘制该映射位置所在区域内的内容时的绘制焦点。
终端设备可以直接将历史绘制焦点确认为用户当前绘制焦点,也可以检测映射位置与历史绘制焦点之间的距离,若该距离在预设距离阈值范围内,则将历史绘制焦点确认为用户当前绘制焦点,否则,将映射位置确认为用户当前绘制焦点。
1)用户上一次绘制内容时的绘制焦点:
终端设备有时会被突然中断,如来电、消息、电量不足自动关机等非正常退出,或绘画应用突然中断,本发明实施例提出,终端设备此时会记录终端设备被中断前的用户绘制焦点,在用户使用终端设备重新进入绘画应用时,终端设备可以直接将中断前的绘制焦点(即用户上一次绘制内容时的绘制焦点)作为用户当前的绘制焦点。或者,终端检测用户当前的落笔位置或悬停位置,若落笔位置或悬停位置距离上一次绘制内容时的绘制焦点非常近,认为用户想要继续绘制内容,则可以直接将上一次绘制内容时的绘制焦点作为用户当前绘制焦点,若落笔位置或悬停位置距离上一次绘制内容时的绘制焦点非常远,认为用户想要绘制其他内容,则可以直接将映射位置作为用户当前绘制焦点。
2)用户抬笔后再次落笔时,抬笔前的绘制焦点
由于终端设备屏幕有限,用户在使用终端设备绘画时,经常在绘制若干笔后需要查看绘制部分在整体中的效果,然后继续绘制或者对已绘制部分进行修改。本发明实施例提出,当终端设备检测到抬笔操作后,终端设备此时会记录抬笔前的用户绘制焦点,当终端设备检测到落笔操作或绘制笔悬停操作后,终端设备可以直接将抬笔前的绘制焦点作为用户当前的绘制焦点。或者,终端检测用户当前的落笔位置或悬停位置,若落笔位置或悬停位置距离抬笔前的绘制焦点非常近,认为用户想要继续绘制内容,则可以直接将抬笔前的绘制焦点作为用户当前绘制焦点,若落笔位置或悬停位置距离抬笔前的绘制焦点较远,认为用户想要绘制其他内容,则可以直接将映射位置作为用户当前绘制焦点。
3)用户之前绘制该映射位置所在区域内的内容时的绘制焦点
用户使用终端设备绘画时,经常会先绘制内容A,然后绘制内容B,在绘制内容B时,可能会需要对内容A进行修改。本发明实施例提出,在用户绘制内容时,终端设备记录绘制焦点所在的区域和绘制焦点的对应关系,终端设备检测到落笔操作或绘制笔悬停后,检测上述映射位置所在的局部区域,然后根据记录的内容确定出该局部区域对应的绘制焦点,终端设备可以直接将该局部区域对应的绘制焦点作为用户当前的绘制焦点。或者,若上述映射位置距离该局部区域对应的绘制焦点非常近,则可以直接将该局部区域对应的绘制焦点作为用户当前绘制焦点,若落笔位置距离该局部区域对应的绘制焦点较远,则可以直接将映射位置作为用户当前绘制焦点。
由于终端设备屏幕有限,用户在使用终端设备绘画时,经常在绘制若干笔后需要查看绘制部分在整体中的效果,然后继续绘制或者对已绘制部分进行修改,此时经常的处理是放大画布寻找查看前绘制的位置,这样绘画的过程经常被这些频繁处理打断。因此,本发明实施例中,终端设备在触发了智能缩小画布功能后,可以根据绘制笔的悬停位置确定用户的绘制意图。
其中,所述绘制笔与终端设备之间的距离可以根据终端设备的电量或网络条件自动选择最好的通讯方式得到,也可通过可穿戴设备获得。例如,绘制笔与终端设备之间的距离可通过移动网络、Wi-Fi、蓝牙、超声、红外、传感器等方式获得。若绘制笔的电量充足,则可选择最快的传输方式获得,反之则选择耗电量少的方式获取;或者,根据所处空间的网络情况选择移动网络或Wi-Fi传输;也可通过前置摄像头或可穿戴设备直接获得。
需要特别说明的是,用户在使用终端设备进行绘画时,可以使用绘制笔或手指在屏幕上进行绘制。
步骤S102中所述对终端设备显示的绘制内容进行相应处理包括下述至少一项:放大处理、缩小处理、移动绘制焦点的显示位置、切换绘制对象、显示绘制参考信息、调整绘制内容的分辨率、扩展承载绘制内容的画布。以下对各相应处理做详细说明:
一、放大处理
用户绘画时的绘制顺序通常为:先勾勒出整体轮廓布局,再细致的填充细节信息。本发明实施例提出,在用户勾勒完整体轮廓布局后,补充细节的过程中,自动对绘制焦点进行定位,并根据绘制焦点智能缩放画布。此外,本发明的方案也可以应用在用户勾勒整体轮廓布局的过程中。在用户使用终端设备绘画的过程中,终端设备均可以采用本发明技术方案,基于绘制焦点智能缩放画布,从而提高用户的绘画体验。
用户进行绘画的过程中,如果画布很大,用户进行细节补充时,一般需要放大需要绘制的区域,然后再绘制细节,现有技术中,需要用户手动挪动画布,将需要绘制的区域挪动到屏幕中心区域,然后通过手势放大该需要绘制的区域,用户的处理非常繁琐。因此本发明实施例提出用户进行细节补充时,终端设备可以自动放大和移动当前画布,放大显示当前需要绘制的局部区域,即用户绘制焦点。
例如,用户将整体布局勾勒出来后,终端设备就会结合图像识别技术,根据已绘制部分的内容、线条、颜色等信息识别出绘制对象,当用户开始对画布中某一个绘制对象进行细节绘制时,通常会更换笔型、线型等绘制笔参数,这些操作可用于触发智能放大画布的功能,也可以用于计算放大画布时的缩放比例,终端设备基于绘制焦点智能放大画布。
具体实施例:用户正在绘制一幅池塘月色图,先对场景进行整体布局,勾勒出主要轮廓,此时,系统会对其进行图像识别,并根据各绘制对象之间的相似性将绘制对象进行分类,如荷花、荷叶、鱼等,这时,用户更换了笔型,笔头变细了,并将线条颜色换成粉红色,终端设备估计用户可能想要绘制荷花的花瓣,且用户将绘制笔悬停在其中一朵荷花的花瓣上,此时,终端设备就自动将该朵荷花放大到合适的比例,并将荷花的花瓣作为绘制焦点进行放大显示;若用户更换更细的笔,换成黄色,将笔放在荷花中心的位置处,则终端设备自动加大缩放比例,以便用户绘制荷花的花蕊。
本发明实施例提出,终端设备在定位出用户绘制焦点,并检测到满足智能放大当前画布的触发条件时,触发智能放大当前画布的功能,终端设备基于绘制焦点智能放大画布,显示屏幕放大显示用户绘制焦点。
定位用户绘制焦点的过程与上述描述一致,这里不再赘述。
具体可通过以下方式中至少一项触发智能放大当前画布的处理:
1、修改绘制笔参数的操作
终端设备检测到用户修改绘制笔参数的事件后,根据用户修改绘制笔参数的事件来估计用户的绘制意图,从而确定是否满足智能放大当前画布的触发条件。若估计出用户的绘制意图为精细绘制,则认为满足触发智能放大当前画布的触发条件,终端设备自动触发对当前画布的放大处理,即对绘制内容进行放大处理。
优选的,所述绘制笔参数包含笔型、线型、线条颜色、纹理信息中的至少一项。
a、修改笔型:
不同的笔型在绘制时的用途不同,终端设备可以根据各种笔型的用途来确定用户的绘制意图。例如,用户使用铅笔进行轮廓勾勒后,更换了其他笔,如蜡笔,水彩等笔型,终端设备根据更换笔型的事件判断用户的绘制意图,可能是想对局部区域进行填充,此时终端设备确认满足智能放大当前画布的触发条件。
修改笔型后,绘制笔粗细也可能相应变化,终端设备可以根据绘制笔粗细来确定用户的绘制意图。当用户想要绘制细节时,通常会更换适合绘制细节的笔型,如图7所示,用户从较粗的大楷换为较细的小楷,终端设备根据笔型更换前后的绘制笔粗细的比较,判断用户的绘制意图,应该是想绘制一些更加细腻的部位,则终端设备判断画布需要放大,确认满足智能放大当前画布的触发条件。
修改笔型后,绘制笔纹理/颜色信息也可能相应变化,终端设备可以根据绘制笔纹理/颜色信息来确定用户的绘制意图。如用户之前使用黑色的普通绘制笔进行轮廓勾勒,然后更换了彩色的带有特殊纹理的绘制笔,则终端设备将根据此修改事件判断用户的绘制意图,应该是想对局部进行特殊效果绘制,此时终端设备确认满足智能放大当前画布的触发条件。
b、修改线型:
终端设备可以根据线型的粗细来确定用户的绘制意图。例如,用户通常会使用较细的线型来绘制细节部分,系统根据更换线型的事件判断用户的绘制意图,可能是想对画布的局部区域进行精细绘制,此时终端设备确认满足智能放大当前画布的触发条件。
c、修改线条颜色:
终端设备可以根据线条颜色来确定用户的绘制意图。例如,用户之前使用黑色线条进行轮廓勾勒,然后更换了彩色线条,则系统将根据此修改事件判断用户的绘制意图,应该是想对局部进行特殊效果绘制,此时终端设备确认满足智能放大当前画布的触发条件。
2、绘制焦点对应的绘制内容相关信息
终端设备根据用户绘制焦点,确定用户需要绘制的内容,即绘制焦点对应的绘制内容,并根据需要绘制的内容相关信息来估计用户的绘制意图,根据用户的绘制意图,确定是否满足智能放大当前画布的触发条件。若估计出用户的绘制意图为精细绘制,则认为满足触发智能放大当前画布的触发条件,终端设备自动触发对当前画布的放大处理,即对绘制内容进行放大处理。
a、根据需要绘制的内容的线条的粗细、线条形状、线条的密集程度等,来确定是否为用户需要精细绘制的内容。
例如,用户当前需要绘制的内容的线条较细,且线条较密集,此时终端设备确认需要绘制的内容为用户需要精细绘制的内容,从而确认满足智能放大当前画布的触发条件。
b、根据需要绘制的内容在整个画布中的比例,或在终端屏幕当前显示的画布区域中的比例,来确定是否为用户需要精细绘制的内容。
当需要绘制的内容在整个画布中的比例,或在终端屏幕当前显示的画布区域中的比例,小于设定比例阈值时,确认满足智能放大当前画布的触发条件。
其中,不同的终端设备的屏幕尺寸不同,可以对应不同的比例阈值,例如,手机的上述比例阈值要大于平板的比例阈值,也就是说,同样的内容在手机上绘制时可能需要放大显示,而在平板上绘制时可能不需要放大显示。
c、根据需要绘制的内容的历史处理信息,来确定是否需要触发智能放大当前画布的功能。
例如,用户在使用终端设备绘画时,经常在绘制若干笔后需要查看绘制部分在整体中的效果,然后继续绘制或者对已绘制部分进行修改。终端设备检测到用户的抬笔操作后,记录抬笔操作前的绘制焦点对应的绘制内容的处理信息,包括放大状态等,当终端设备检测到用户的落笔操作或绘制笔悬停操作后,若定位出的绘制焦点与抬笔前的绘制焦点一致,则可以根据抬笔前的绘制内容对应的处理信息,来判断落笔后是否触发智能放大当前画布的功能。其中,若抬笔前的绘制内容为放大处理后显示的内容,则可以确认满足智能放大当前画布的触发条件。
d、根据与需要绘制的内容关联的已绘制内容的历史处理信息,来确定是否需要触发智能放大当前画布的功能。
其中,上述关联方式可以为内容相似,还可以为其他关联方式。
上述历史处理信息可以但不限于包括已绘制内容的放大状态。
例如,用户对多个相似的对象逐个进行绘制,对象A和对象B是这些对象中的两个,在绘制对象A时,已绘制内容中存在与对象A相似的对象,即对象B,且在绘制对象B时,终端设备执行了智能放大画布的功能,放大倍数为Ka,则终端设备确认在绘制对象A时,也需要执行智能放大画布的功能。
另一种情况,在绘制内容A时,若已绘制内容中没有与内容A相似的内容,那么系统可以根据其他方式判断是否满足智能放大当前画布的触发条件,若系统此时确定出的放大状态不符合用户的习惯,用户可以通过手势等方式对画布进行缩放来辅助调整画布的缩放比例,比如,系统根据其他方式判断出不满足智能放大当前画布的触发条件,因此不放大画布,或者系统判断出当前情况满足触发条件从而放大了画布,但是放大比例不合适(太小或者太大了),那么用户可以采用缩放手势来调整画布的缩放比例,系统就会记录下来绘制内容A时画布的放大状态,如系统确定出的放大倍数、用户调整后的画布放大倍数等信息;当绘制内容B时,系统检测到有已绘制的内容A与内容B相似,则系统获得内容A绘制时记录的画布的放大状态,并优先根据绘制内容A时画布的放大状态来考虑是否也在绘制内容B时放大画布,且调整放大画布时的放大倍数。
3、用户指令
用户可以通过语音、按键、手势、外部控制器等任意一种交互方式以及这些交互方式的任意组合方式发出智能放大当前画布指令,终端设备检测到智能放大当前画布指令后,确认满足智能放大当前画布的触发条件。
关于使用语音开启,如用户预先设定语音开启指令:“放大画布”,如果接收到用户发出的声控指令“放大画布”,则对该声控指令进行语音识别,从而确定接收到智能放大当前画布指令。
关于通过按键开启,按键可以为硬件按键,例如音量键或home键,用户可以通过长按音量键‘+’或home键开启放大当前画布的功能,终端设备检测到用户的上述长按操作事件后,确认此时接收到智能放大当前画布指令。按键也可以为绘图软件中的虚拟按键,例如屏幕上的虚拟控件按钮、菜单等,终端设备接收到用户点击虚拟按键的事件后,确认接收到智能放大当前画布指令。
关于通过手势开启,手势包括屏幕手势,如双击屏幕/长按屏幕等,手势还包括隔空手势,如摇晃终端/翻转终端/倾斜终端。上述手势可以是单一的手势,也可以是任意手势的任意组合。
关于通过外部控制器开启,外部控制器可以为与终端关联的绘制笔,例如,终端检测到绘制笔被取出后又被快速插回终端,或者绘制笔上的预设按键被按下,或者用户使用绘制笔作出预设的空中手势,则确认接收到智能放大当前画布指令;外部控制器也可以为与终端关联的可穿戴式设备或其他设备,其中,可穿戴式设备可以为智能手表、智能眼镜等,上述可穿戴设备或其他设备可以通过wifi和/或nfc和/或蓝牙和/或数据网络访问用户的终端,上述可穿戴设备或其他设备通过语音、按键、手势中的至少一种交互方式确认用户想要开启放大当前画布的功能,并通知所述终端设备。
进一步的,对画布做放大处理这一过程中,终端设备可以先对用户绘制焦点进行定位,再检测满足智能放大当前画布的触发条件,例如,用户先在显示屏幕上通过圈选的方式选择需要绘制的局部区域,然后再更换笔型,终端设备通过用户的圈选操作确定出用户的绘制区域,并根据检测到的更换笔型的事件,确认满足智能放大当前画布的触发条件。
终端设备也可以先检测满足智能放大当前画布的触发条件,再定位用户的绘制焦点,例如,用户先更换笔型,然后再执绘制笔接近屏幕,终端设备根据检测到的更换笔型的事件,确认满足智能放大当前画布的触发条件,并通过绘制笔与终端设备之间的距离检测到落笔事件,从而确定出用户的绘制区域。
终端设备也可以同时执行上述两个步骤,例如,用户在显示屏幕上通过圈选的方式选择需要绘制的局部区域,终端设备通过用户的圈选操作确定出用户的绘制区域,并根据绘制区域中线条的粗细和/或线条的密集程度,确认满足智能放大当前画布的触发条件。
对当前画布进行放大处理,需要根据相应的放大倍数进行放大,以使放大后的画布满足用户需求。本发明实施例通过以下至少一项确定放大处理执行的放大倍数:
1、修改绘制笔参数的操作
其中,绘制笔参数包含笔型、线型、线条颜色、纹理信息中的至少一项。终端设备检测到用户修改绘制笔参数的事件后,依据绘制笔参数修改前后下述信息中的至少一种:绘制笔粗细、绘制笔纹理、线条颜色,纹理信息,设置当前画布放大倍数Ks,或者设置当前画布放大倍数的调整因子Ka。
针对笔型/线型修改前后绘制笔的粗细,可以根据笔型修改前后绘制笔的粗细比例设置当前画布的放大倍数的比例系数k1。如终端设备检测到用户正在使用绘制笔宽度为w1的笔型绘制对象的轮廓部分,然后更换了绘制笔宽度为w2(w2<w1)的笔型,即更换了较细的笔型,终端设备触发了智能放大当前画布的功能,终端设备可以根据笔型修改前后绘制笔的粗细比例设置比例系数k1=w1/w2。
针对笔型修改前后绘制笔纹理信息,终端设备可以根据笔型修改前后绘制笔的纹理变化设置画布的放大倍数的比例系数k2。如终端设备检测到用户之前使用黑色的普通绘制笔的笔型进行绘制,然后更换了彩色的带有特殊纹理绘制笔的笔型,终端设备触发了智能放大画布的功能,终端设备可以根据笔型修改前后绘制笔纹理的实现效果设置不同的比例系数k2。其中,可以预先设置不同纹理信息之间切换时的比例系数,例如,预先设置由纹理1切换到纹理2时对应的比例系数,以及由纹理1切换到纹理3时的比例系数等。此外,终端设备也可以根据用户已绘制的内容,对设置的比例系数进行实时调整。
针对笔型/线条颜色修改前后线条的颜色信息,终端设备可以根据修改前后线条的颜色变化设置画布的放大倍数的比例系数k3。如终端设备检测到用户之前使用黑色的线条进行绘制,然后更换了彩色的线条,终端设备触发了智能放大画布的功能,终端设备可以根据线条颜色的实现效果设置不同的比例系数k3。其中,可以预先设置不同线条颜色之间切换时的比例系数,此外,终端设备也可以根据用户已绘制的内容,对设置的比例系数进行实时调整。
终端设备可以只根据绘制笔参数修改来确定放大倍数,此时,终端设备可以根据确定出的上述一个比例系数来计算放大倍数,例如,Ks=k1,或Ks=k2,或Ks=k3,也可以根据多个比例系数来计算放大倍数,例如,最终的画布放大倍数Ks=k1×k2×k3。
此外,终端设备也可以根据绘制笔参数修改与其他信息一起综合确定放大倍数,此时,终端设备可以根据确定出的上述一个比例系数来计算放大倍数调整因子,例如,Ka=k1,或Ka=k2,或Ka=k3,也可以根据多个比例系数来计算放大倍数调整因子,例如,Ka=k1×k2×k3。
2、绘制焦点对应的绘制内容相关信息
终端设备可以根据用户绘制焦点,确定用户需要绘制的内容,即绘制焦点对应的绘制内容,并根据需要绘制的内容相关信息来确定当前画布放大倍数Ks,或者确定当前画布放大倍数的调整因子Kb。
其中,绘制焦点对应的绘制内容相关信息包括下述至少一项:绘制内容的线条粗细、绘制内容的线条密集程度、绘制内容的线条形状、绘制内容在画布中的比例、绘制内容在终端屏幕显示的画布区域中的比例;所述绘制内容的历史处理信息、与所述绘制内容关联的已绘制内容的历史处理信息。
a、终端设备可以根据需要绘制的内容的线条的粗细、线条的密集程度、线条的形状,确定当前画布放大倍数Ks,或者确定当前画布放大倍数的调整因子Kb,若绘制内容的线条较为细密,则需要增大放大倍数,反之则应减小。
如图8a所示,若用户绘制的是动物的眼睛或羽毛等较为细腻的部位,线条非常细密,则需适当加大画布的放大倍数,这样更方便用户绘制细节信息;如图8b所示,若用户绘制的是荷叶,则荷叶的叶脉有许多细长的线条,如果放大倍数太大则屏幕上显示的画布区域就会变小,就对绘制较长的线条不利,需要适当减小当前画布的放大倍数,因此,还需要参考绘制内容的形状以及区域来调整画布的放大倍数,当线条细长时,适当减小当前画布的缩放比例。
b、终端设备可以根据需要绘制的内容在整个画布中的比例,或在终端屏幕当前显示的画布区域中的比例,确定当前画布放大倍数Ks,或者确定当前画布放大倍数的调整因子Kb。
例如,终端设备在检测到需要绘制的内容在屏幕当前显示画布区域中的比例小于预设阈值,则系统可以根据此处的绘制内容在屏幕当前显示画布区域中的比例,以及屏幕当前显示画布占整个画布的比例,确定比例系数Kb,以适当增大绘制内容的放大比例。
c、根据需要绘制的内容的历史处理信息,来确定当前画布需要放大倍数Ks,或者确定当前画布放大倍数的调整因子Kb。
例如,用户在使用终端设备绘画时,经常在绘制若干笔后需要查看绘制部分在整体中的效果,然后继续绘制或者对已绘制部分进行修改。终端设备检测到用户的抬笔操作后,记录抬笔操作前的绘制焦点对应的绘制内容的处理信息,包括放大状态,如放大处理时的放大倍数等,当终端设备检测到用户的落笔操作或绘制笔悬停操作后,若定位出的绘制焦点与抬笔前的绘制焦点一致,则可以根据抬笔前的绘制内容对应的处理信息,来确定落笔后智能放大当前画布时的放大倍数。其中,可以将抬笔前的绘制内容对应的放大倍数,作为落笔后智能放大当前画布时的放大倍数。
c、终端设备根据与需要绘制的内容关联的已绘制内容的处理信息来确定当前画布需要放大倍数Ks,或者确定当前画布放大倍数的调整因子Kb。
其中,上述关联方式可以为内容相似,还可以为其他关联方式。
上述历史处理信息可以但不限于包括已绘制内容的放大状态,如放大倍数等。
例如,若终端设备检测出用户是初次绘制对象A的细节,那么系统会自动搜索已绘制内容是否有与该绘制对象相似的绘制对象,若存在已绘制对象B与对象A相似,则获取绘制对象B时画布的放大状态,若在绘制对象B时没有进行手动操作,则根据绘制对象B时系统智能计算的放大倍数,与对象A与对象B的大小比例,计算出画布放大倍数的调整因子Kb,若终端设备检测到用户在绘制对象B时有手动缩放操作,则根据手动调整后画布的放大倍数设置当前画布需要放大倍数的调整因子Kb。
终端设备可以只根据需要绘制的内容来确定放大倍数。此外,终端设备也可以根据需要绘制的内容与其他信息一起综合确定放大倍数,此时,终端设备可以确定出放大倍数调整因子Kb。
3、绘制笔与终端设备的距离
绘制笔与终端设备的距离不同,画布的缩放比例可能不同,绘制笔与终端设备之间的距离越小,画布显示的内容越精细,即画布的放大比例越大,因此可以设置画布放大比例因子Kc与距离成反比。随着绘制笔与终端设备的距离的变化,画布的放大比例也随着变化。
终端设备通过检测绘制笔距离终端屏幕的高度,设置不同的画布放大比例,画布的放大比例与绘制笔距离终端屏幕的高度成反比,且放大比例为随着绘制笔距离终端屏幕的高度线性变化,也可以设置为画布放大比例为随着绘制笔距离终端屏幕的高度非线性变化,从而使终端屏幕上显示随用户的落笔高度不断变化的放大后的绘制内容。如前所述,绘制笔与终端的距离可以根据电量或网络的条件自动选择最好的通讯方式得到,也可通过可穿戴设备获得。
4、落笔速度
用户落笔较慢时,一般是想渐进地查看绘制内容,因此可以设置较小的放大比例因子Kd,落笔速度较快时,一般是希望快速放大进行绘制,因此可以设置较大的放大比例。随着绘制笔的落笔速度的变化,画布的放大比例也可以随着变化。
5、终端屏幕尺寸
不同的终端设备屏幕尺寸也不同,用户在不同的终端设备上使用绘画应用绘制同一细节信息时,所需的放大状态也可能不同,例如,在平板上绘制时可能不需要放大,而在手机上绘制时就需要放大,因此为使用户在绘制同样细节程度的内容时有一致的体验,在触发画布的智能放大功能后,需要根据终端设备的屏幕尺寸相应调整画布的放大倍数,即根据终端设备屏幕的具体尺寸确定当前画布放大倍数的调整因子Ke。
例如,三种不同型号的终端设备的屏幕尺寸分别为s1、s2、s3,确定出的相应的画布缩放比例分别为k1、k2、k3,初始时画布与终端设备屏幕尺寸大小相同,则画布的缩放比例均为1,当终端设备触发了智能放大画布功能后,为了使用户在不同终端上绘制相同细节时有一致的用户体验,需要将画布放大到同样的大小,则画布的放大倍数满足我们可以选择一个终端作为标准,即设该设备的Ke=1,这里假设为Ke1=1,则
进一步的,终端设备还可以根据多个信息中的每个信息分别得到放大倍数调整因子,然后再根据得到的各个放大倍数调整因子确定画布的最终放大倍数。例如,确定出的放大倍数调整因子分别为Ka、Kb、Kc,从而得到最终的画布放大倍数Ks=Ka×Kb×Kc。
终端设备根据放大倍数智能放大画布后,可以触发移动绘制焦点的显示位置的功能。其中,可以在放大画布后,将定位出的用户绘制焦点移动到终端屏幕的预设位置进行显示,如移动到屏幕中间位置显示,方便用户在放大后的画布中定位绘制焦点。
此外,也可以移动用户绘制焦点的显示位置,将绘制焦点与绘制笔在终端屏幕上的映射位置对应。此时用户无需移动落笔位置,可以直接在放大后的画布上进行内容绘制。
本发明实施例提出,上述移动绘制焦点的显示位置的功能可以在每次执行放大处理后执行,例如,每次智能放大画布后,终端设备均会移动绘制焦点的显示位置与落笔位置对应。
若用户抬笔查看整体效果后再次落笔继续绘制细节内容时,终端设备也可以执行智能放大当前画布的处理,因此,终端设备也会移动绘制焦点的显示位置与落笔位置对应。
在对当前画布执行放大处理的过程中,所述放大处理可以以下面两种方式执行:
1、随绘制笔与终端屏幕的距离逐渐执行放大处理
用户执绘制笔接近终端屏幕,且落笔位置为用户想要精细绘制的位置,此时终端设备随着绘制笔与屏幕之间距离的不断缩小,不断的放大画布,其中,放大画布时的放大倍数与绘制笔与屏幕之间的距离有关,终端设备将初始落笔位置作为用户的绘制位置,或者将初始落笔位置所在的局部区域作为用户的绘制区域。用户的绘制位置以及绘制区域即为用户绘制焦点。
在画布的放大过程中,绘制焦点可以始终显示在屏幕中间位置,或者绘制焦点始终与绘制笔的落笔位置对应。
当用户认为画布的放大比例合适时,可以停止绘制笔与屏幕之间的相对运动,即绘制笔与屏幕之间的距离保持不变,若该状态持续一定时间,则终端设备可以确认不再继续放大画布,用户可以移动画布来调整画布的显示位置。
在该放大过程中,放大画布的放大倍数可以通过上述绘制笔与屏幕之间距离确定出,还可以通过和上述其他信息一起综合确定出。
2、分两步执行放大处理
当用户勾勒出整体轮廓,想要精细绘制时,用户想要精细绘制的内容在画布中所占的比例可能非常小,用户很难直接选中自己想要绘制的位置,此时终端设备可以执行两次放大处理。
第一次放大处理:用户可以执绘制笔接近终端屏幕,且落笔位置在用户想要精细绘制的位置所在的区域内,终端检测到落笔事件后,根据用户的落笔位置,自动识别出用户想要绘制的对象,并将该对象显示在终端屏幕上,用户可以通过某些处理确认想要精细绘制该对象,例如,通过语音、手势,如点击该对象等来确认。终端设备将该对象对应的区域作为绘制区域,即用户绘制焦点,确定出放大倍数后放大画布,并将放大后的绘制区域显示在屏幕中间位置。
第二次放大处理:在放大后的画布中,用户可以精确选择想要精细绘制的位置,此时,用户可以将绘制笔落向自己想要绘制的位置并悬停,与此同时,终端设备会再次以悬停位置作为绘制位置,即绘制焦点,确定出放大倍数后再次放大画布,并在显示放大后的画布时,将绘制位置显示在屏幕中间位置。
在上述放大过程中,第二次放大处理中用户选择的位置对应的绘制内容与第一次放大处理中绘制对象的内容,在对应的线条粗细/密集程度/形状、绘制内容在整个画布中的比例以及已绘制的相似内容的放大状态各方面均不同,因此第二次放大处理的放大倍数要大于第一次放大处理的放大倍数。
以上仅作为放大处理的示例性说明,本发明所述放大处理的具体实施方式包括但不限于上述两种方式,在具体实施过程中可视具体情况以相应方式执行放大处理,具体执行方式不作为对本发明所述方法的限制。
由此,在用户勾勒出轮廓后开始逐个绘制物体细节时,终端设备自动捕捉交互事件或绘制目标部位,据此放大画布,将绘制焦点自动定位至用户将要绘制的局部区域或位置,避免了用户手动拖动画布和放大画布的操作,提高了用户使用终端设备绘制内容的灵活性,增强了用户体验。
终端设备根据预设方式计算出的画布放大倍数有可能不太符合某些用户的绘画习惯,则终端设备允许用户根据需要中断/关闭智能放大当前画布功能,即用户可以在终端设备触发并执行放大当前画布处理的过程中,当认为画布放大倍数已满足自己绘画需要时,通过一些交互方式中断终端设备继续执行智能放大当前画布的处理,也可以关闭智能放大当前画布的功能。该中断事件也会触发终端设备记录此时的画布放大倍数,用以调整后续智能放大画布处理过程中计算出的放大倍数,以期更加符合用户的操作习惯。
进一步的,用户同样可以通过语音、按键、手势、外部控制器等任意一种交互方式以及这些交互方式的任意组合方式实现智能放大当前画布功能的中断/关闭。例如,用户可以通过设定语音指令“中断放大功能”或“关闭放大功能”,也可以通过绘图软件中的控件命令,也可以通过翻转、摇晃、多指操作等手势,或者通过对外部控制器的一些约定操作等来控制智能放大当前画布功能的中断或关闭。此外,终端设备会自动检测用户的操作,自动中断智能放大处理。例如,在终端设备触发了智能放大当前画布的功能,并正在执行放大当前画布的处理过程中,检测到用户的手指快速点击了终端设备的屏幕或者绘制笔快速落向屏幕,则终端设备认为用户想要中断智能放大当前画布的处理,从而中断放大处理。本文中后面所述的其他智能处理均可由用户随时中断/关闭,后面不再赘述。
二、缩小处理
如果画布很大,用户补充了某个对象的细节后,一般需要缩小画布,查看绘制细节在整体中的效果,查看完再回到之前绘制的位置修改或继续绘制,现有技术中,需要用户通过手势缩小画布,拖动画布到希望查看的区域,查看完再手动挪动画布到之前绘制的区域,通过手势放大画布进行修改或继续绘制,用户的操作非常繁琐。
本发明实施例提出,用户补充了细节之后,终端设备可以自动缩小画布并显示与当前绘制内容相关的区域以查看整体绘制效果,并在用户查看整体绘制效果后自动按照之前的放大状态放大画布。
举例说明:当用户填充了细节后,通常希望可以查看一下绘制部分在整体中的效果,比如颜色是否协调、线条的密集程度是否合适,则用户可以抬起绘制笔,根据绘制笔与终端的距离计算缩放比例,可以渐进地看到绘制部分在相关区域中的显示效果,从而决定是否需要修改。当用户看完整体绘制效果或被来电、信息等突发事件中断后继续绘制或修改时,笔落向屏幕上之前绘制的位置时,则自动将绘制焦点与落笔位置对应,避免了用户手动寻找绘制焦点的繁琐操作。
如图9所示,用户正在绘制一只小鸟的眼睛,希望查看一下绘制的眼睛在小鸟头部的位置、颜色、线条等是否协调,则用户可以稍稍抬高一点绘制笔,绘制笔与终端设备的距离对应图9中的距离d1,画布就会自动缩小画布,呈现与小鸟的眼睛相关性比较大的头部区域,若用户觉得还需要修改或者继续绘制,则当绘制笔移动到抬笔前的绘制位置后悬停,落笔焦点自动定位到上次绘制的位置,若用户觉得显示的区域太小了,想查看眼睛在整个身体上的效果,则再抬高一些笔,绘制笔与终端设备的距离对应图9中的距离d2,画布就会再缩小,将小鸟的整只身体展现出来,画布会根据抬笔的高度自动调整画布的缩放比例,当笔距离终端的距离达到一定值后,屏幕上将显示整个画布。
图10为抬笔查看整体绘制效果时,画布的缩放比例随抬笔高度(绘制笔与终端设备的距离)的变化示意图,图中k0为当前绘制时画布的缩放比例,H0为触发智能缩小当前画布时的抬笔高度,H1为抬笔事件最大响应高度,当抬笔高度达到或超过H1时,画布缩放比例为1,即与终端屏幕大小相等。
具体可通过以下方式中的至少一项触发智能缩小当前画布的处理:
1、用户抬笔操作
用户补充了细节之后希望查看整体效果时,通常的处理是抬起绘制笔,则终端设备根据检测绘制笔的抬笔事件触发智能缩小当前画布的功能。如图10中所示,当终端检测到绘制笔距离终端屏幕的高度小于H0时,认为用户正在绘制细节部分,当终端检测到绘制笔距离终端屏幕的高度达到H0时,认为这是用户的抬笔事件。
而且抬笔高度不同,用户想要看到的范围也不同,终端屏幕上的显示范围也不同,则绘制笔的抬笔事件触发智能缩小画布的功能。其中,终端设备可以检测绘制笔与终端设备之间的距离,当绘制笔与终端设备之间的距离达到设定的触发距离时,终端设备检测到抬笔事件。终端设备在触发了智能放大功能后,会自动锁定智能缩小当前画布的功能,直至有绘制操作时自动退出锁定模式,即若终端设备执行了智能放大画布功能后,用户没有进行任何绘制,那么当终端设备检测到绘制笔抬起事件时,终端设备认为不需要触发智能缩小当前画布的功能。
2、用户指令
用户可以通过语音、手势、按键、外部控制器等交互方式以及这些交互方式的任意组合的方式发出智能缩小画布指令,终端设备检测到智能缩小画布指令后,触发智能缩小画布的功能。例如,用户可以通过预先设定语音开启指令“缩小画布”,可以通过长按音量‘-’键或绘画软件中的控件按钮,也可以通过多指触控屏幕、摇晃终端/翻转终端/倾斜终端等任意一种或任意多种方式的组合,用户也可以通过绘制笔、可穿戴设备等外部控制器开启。
3、绘制焦点对应的绘制内容的历史处理信息
终端设备根据当前绘制内容(即绘制焦点)的历史处理信息(包括放大状态)决定是否需要触发智能缩小当前画布的功能。若检测到当前绘制内容为放大处理后显示的内容,即当前画布处于放大状态,则可以触发智能缩小当前画布的功能,反之,若当前画布没有放大,那么就不需要触发智能缩小当前画布的功能。
对当前画布进行缩小处理,需要根据相应的缩小倍数执行缩小,以使缩小后的画布满足用户需求。本发明实施例通过以下至少一项确定缩小处理执行的缩小倍数:
1、绘制笔与终端设备的距离
绘制笔与终端设备的距离不同,画布的缩放比例就不同,绘制笔抬起的高度越高,则画布显示的区域越大,即画布的缩放比例越小,因此可以设置画布缩放比例因子Ka与距离成反比。
终端设备通过检测绘制笔距离终端屏幕的高度,设置不同的画布缩放比例,如图10中路径①所示,画布的缩放比例与绘制笔的抬笔高度成反比,且缩放比例为线性减小,此时画布的缩放比例:也可以设置画布缩放比例为非线性减小,如图10中的路径②、③、④、⑤,可选择最佳的一种或多种方式,从而根据用户抬笔的高度在终端屏幕上显示绘制内容在不同层次的整体中的绘制效果。如前所述,绘制笔与终端的距离可以根据电量或网络的条件自动选择最好的通讯方式得到,也可通过可穿戴设备获得。
2、抬笔速度
用户抬笔较慢时,一般是想渐进地查看在较小区域内的绘制效果,因此可以设置较小的缩放比例调整因子Kb,抬笔速度较快时,一般是希望快速查看在较大区域内的整体效果,因此可以设置较大的缩放比例调整因子Kb。
3、绘制焦点对应的绘制内容的历史处理信息
当终端设备触发了智能缩小当前画布的功能后,需要根据当前绘制内容(即绘制焦点对应的绘制内容)的放大状态设置调整因子Kc,以调整当前画布的缩放比例。图10中,若当前绘制内容的放大倍数K0较大,则在计算当前画布的缩放比例时应适当加快画布的缩小速度,这样在达到预设高度时才能使当前画布缩小到预设大小,反之,若当前绘制内容的放大倍数K0本就不大,则在缩小当前画布时应该减慢当前画布的缩小速度,才方便用户渐进地查看各个层次的绘制效果。因此,可以设置一个与当前绘制内容的放大倍数成反比的调整因子Kc,用以调整当前画布的缩小速度。
4、与绘制焦点对应的绘制内容的相关性
终端设备触发了智能缩小画布的功能后,根据与当前绘制内容的相关性设置缩放比例调整因子Kd(0<Kd<1),调整画布的缩小比例,所述相关性包括下述至少一项时间相关性、空间相关性、绘制对象相关性、风格相关性。
空间相关性是计算相关性最直接的方法,终端设备可以以正在绘制区域(绘制焦点所在区域)为中心向周围区域扩展,根据距离远近计算这些区域与正在绘制区域的空间相关性。
时间相关性,是根据正在绘制区域周边区域绘制完的时间距离现在的时间长短,时间相关性可作为一个计算相关性的辅助方法。用户一般是从起始位置开始连续绘制,因此,终端设备可以认为时间间隔较短的应该是与正在绘制的区域相关性较大,优先考虑将其显示到屏幕上。
绘制对象相关性,终端设备可以从绘制对象的内容方面切入,区分对象与背景区域,如绘制的是一个动物的眼睛,则可以依次计算出相关性最高的是头部、身体,则画布上就自动将头部作为局部的整体,可以查看眼睛在头部的效果,再缩小画布时,则将身体作为查看整体。
风格相关性,终端设备可以根据与当前绘制区域的色调、灰度图、线条、像素密集程度等的相似程度来计算。
5、终端屏幕尺寸
不同的终端设备的屏幕尺寸不同,为使用户在使用不同终端设备绘画时能有一致的用户体验,则根据终端屏幕的尺寸设置当前画布的缩放比例调整因子Ke。也就是说,用户在绘制同样的细节内容时,在手机上和在平板上绘制内容的显示大小是一样的,当用户抬笔查看整体时,若抬笔高度在达到同样的预设阈值后,画布应该缩小到终端屏幕大小,即缩放比例均为1。
如图11中,在不同终端设备上绘制同样的细节内容时,当前画布的放大倍数K0是不同的,则当终端触发了智能缩小当前画布时,画布缩放比例由K0减小到1的曲线路径也不同,例如,假设三种不同型号的终端设备的屏幕尺寸分别为s1、s2、s3,相应的画布缩放比例分别为k1、k2、k3,则画布放大到相同尺寸时,需满足即k0与终端屏幕尺寸成反比,若三种终端屏幕的尺寸关系为s1<s2<s3,则k1>k2>k3,那么三个终端设备上画布缩放比例与抬笔高度的变化关系如图11所示,终端屏幕尺寸越小则画布缩放比例的减小速度越快,画布缩放比例调整因子Ke可以设置为与终端屏幕尺寸成正比。若终端设备1的缩放比例系数Ke1=1,则后两种型号的终端设备的缩放比例系数
更进一步,当前画布的缩小倍数可依据绘制笔与终端设备的距离、抬笔速度、绘制焦点对应的绘制内容的历史处理信息、与绘制焦点对应的绘制内容的相关性、终端屏幕尺寸,分别得到画布的缩放比例调整因子Ka、Kb、Kc、Kd和Ke,然后得到最终的画布缩放比例Ks=Ka×Kb×Kc×Kd×Ke。
终端设备智能放大当前画布后,还需要确定终端屏幕上显示的绘制内容,从而可以确定出需要在终端屏幕上显示的画布区域。
可以根据与绘制焦点对应的绘制内容的相关性确定需要在终端屏幕显示的绘制内容。用户对某对象补充了细节后,一般会想查看当前绘制的细节在该对象中的整体效果,因此可以优先显示与当前绘制内容(即绘制焦点对应的绘制内容)相关性较大的内容才有意义,用户查看的效果也最好。如图9所示,用户稍稍抬高笔时,可以显示鸟的全身,用户就可以查看绘制区域在这个整体中的效果,此时仍可以看到绘制部分的细节信息,比较容易看到效果,而再抬高笔,则会显示鸟在整体环境的中效果,直至整个画布显示在屏幕上。
此外,也可以根据绘制焦点的选择方式确定需要在终端屏幕显示的绘制内容。当终端设备触发了智能缩小当前画布的功能,可以优先考虑当前绘制焦点的选择方式,绘制焦点的选择方式如前所述,可以通过圈选、点击等操作来选择。若终端设备检测到用户在选择绘制焦点时采用的是直接圈选的方式,则用户的绘制意图很明显,则优先确定用户圈选的区域显示到屏幕上。
终端设备可以将确定出的终端屏幕上显示的绘制内容,在终端屏幕的中间位置进行显示,以便用户更好的查看整体效果。
由此,在用户对细节部分进行了补充之后,自动根据绘制笔与设备的距离缩小画布,并根据绘制内容的相关性显示画布区域,用户不需要频繁的手动缩放和拖动操作就可以查看绘制部分在整体中的效果。
三、移动绘制焦点的显示位置
终端设备智能放大画布后,可以触发移动绘制焦点的显示位置的功能。其中,可以在放大画布后,将定位出的用户绘制焦点移动到终端屏幕的预设位置进行显示,如移动到屏幕中间位置显示,方便用户在放大后的画布中定位绘制焦点。
此外,也可以移动用户绘制焦点的显示位置,将绘制焦点与绘制笔在终端屏幕上的映射位置对应。此时用户无需移动落笔位置,可以直接在放大后的画布上进行内容绘制。
本发明实施例提出,上述移动绘制焦点的显示位置的功能可以在每次执行放大处理后执行,例如,每次智能放大画布后,终端设备均会移动绘制焦点的显示位置与落笔位置对应。
若用户抬笔查看整体效果后再次落笔继续绘制细节内容时,终端设备也可以执行智能放大当前画布的处理,因此,终端设备也会移动绘制焦点的显示位置与落笔位置对应。
由于终端设备屏幕有限,用户在使用终端设备绘画时,经常在绘制若干笔后需要查看绘制部分在整体中的效果,然后继续绘制或者对已绘制部分进行修改,此时经常的处理是放大画布寻找查看前绘制的位置,这样绘画的过程经常被这些频繁处理打断。因此,本发明实施例中,终端设备在触发了智能缩小画布功能后,可以根据绘制笔的落笔位置或悬停位置确定用户的绘制意图。
终端设备有时会被突然中断,如来电、消息、电量不足自动关机等非正常退出,系统会记录中断前画布和笔的状态,在重新进入后,终端设备触发智能缩放当前画布以及智能移动绘制焦点的显示位置的功能,使画布大小和位置均为绘画中断前的状态。
若终端设备检测出绘制笔的落笔位置或悬停位置在抬笔/中断前的绘制区域内时,或绘制笔的落笔位置或悬停位置距离抬笔/中断前的绘制焦点/距离较近时,终端设备触发智能缩放当前画布以及智能移动绘制焦点的显示位置的功能。此时的绘制焦点为抬笔/中断前的绘制焦点。
终端设备可以直接获取之前在绘制该绘制焦点对应的绘制内容时的画布的缩放比例,并据此自动放大或缩小画布到先前绘制时的大小。
终端设备此时可以将绘制焦点移动到终端屏幕的预设位置进行显示,移动用户绘制焦点的显示位置,将绘制焦点与绘制笔在终端屏幕上的映射位置对应。
由此,当用户查看完绘制效果或被来电、信息等突发事件中断后需要继续补充细节时或者绘画突然中断后重新进入时,可根据绘制笔与设备的距离自动放大画布,并将绘制焦点定位在之前绘制的位置,用户可以非常方便地继续绘画,避免了不断手动处理带来的不便及用户手动寻找绘制位置的繁琐处理。
四、切换绘制对象
本发明实施例提出,用户若先勾勒各绘制对象的轮廓,则终端设备可以结合图像识别技术,根据用户绘制的轮廓信息、颜色信息、线条信息等对各绘制对象进行识别,并通过计算相似度将各绘制对象进行分类,相似度达到预设阈值的为一类,以备后续处理使用。
当用户进行了细节绘制后,则有两种可能:1)继续绘制当前目标;2)绘制下一目标。用户通常会先勾勒出整体的轮廓,逐个绘制对象的细节,且用户在绘制时通常会选择将一类对象绘制完再绘制另一类对象,那么当相似的两个对象距离较远时,用户需要手动缩小和拖动画布寻找绘制目标。
本发明实施例中,终端设备可以在用户勾勒完整体轮廓后,自动识别各个绘制对象,并计算两绘制对象之间的相似度,若绘图中各绘制对象距离较远时,终端设备可以根据检测到的用户绘制状态,提供自动切换功能,用户可以方便地切换到下一个绘制对象。例如,用户正在绘制或绘制完一个对象后,可以通过抬笔查看对象整体效果,此时画布仍处于放大的状态,屏幕上显示的区域只是整个画布上很小的一个区域,而用户需要绘制的对象与当前绘制的对象距离较远,此时,终端可以自动切换到下一个绘制对象。
此外,终端设备也可以给出切换按钮,若用户对当前绘制比较满意希望切换到下一个绘制对象时,用户只需点击下一个按钮即可自如切换。
如用户正在绘制荷塘中散落的几条鱼,在勾勒布局完之后就开始逐个补充细节了,当对其中一条鱼补充了细节之后,想切换到下一条鱼进行细节补充,用户抬笔到预设高度后,就可以看到切换对象的按钮,如图12所示,用户可以直接通过操作左右切换键,查看终端推荐的绘制对象,根据自己的绘画习惯选择下一个绘制目标,如从绘制对象A切换到绘制对象B,用户可以选择形态比较接近的鱼进行绘制,这样可以大大减少换笔和构思的时间,从而提高绘图的效率和质量。
具体可通过以下方式中的至少一项触发智能切换绘制对象的功能:
1、用户抬笔操作
用户结束一个对象的绘制时,通常会抬起绘制笔,则终端通过检测用户的抬笔事件,确定用户的意图,推荐待绘制的绘制对象供用户选择,或者直接自动切换到下一个绘制对象。即终端设备根据检测绘制笔的抬笔事件触发终端设备智能切换绘制对象的功能。
用户抬笔操作可以根据绘制笔与终端屏幕的距离确定,若距离大于设定阈值,则认为是用户的抬笔事件。如前文所述,抬笔事件同时也是智能缩小当前画布功能的触发条件,用户在绘制了细节后,抬笔查看绘制效果,前文中叙述了抬笔查看效果后再落笔当前绘制区域(即抬笔前的绘制焦点所在区域)继续绘制或修改,而此处则是用户抬笔查看效果之后结束当前对象的绘制,切换到下一个绘制对象。终端设备在检测到抬笔事件后,根据用户的落笔位置触发相应事件,若用户落笔在当前绘制区域,则为前文所述情况,若用户落笔在切换对象按钮上,则终端设备根据用户操作切换上一个或下一个绘制对象。
2、用户指令
用户可以通过语音、手势、按键、外部控制器等交互方式以及这些交互方式的任意组合的方式发出智能切换绘制对象指令,终端设备检测到智能切换绘制对象指令后,触发智能切换绘制对象的功能。例如,用户可以通过预先设定语音开启指令“切换对象”,可以通过长按音量键/home键或绘画软件中的控件按钮,也可以通过隔空手势、摇晃终端/翻转终端/倾斜终端等任意一种或任意多种方式的组合,用户也可以通过绘制笔、可穿戴设备等外部控制器开启。
3、绘制对象间的相似性
终端可以根据当前绘制对象是否存在与当前绘制对象相似的对象来、当前绘制对象的放大状态触发智能切换绘制对象的功能。
终端设备在用户逐个补充细节前识别对象并计算两绘制对象之间的相似度,若终端设备检测出当前绘制对象后,若存在相似度高于预设阈值的对象,则可以触发智能切换绘制对象的功能,若相似度均低于预设阈值,则认为当前绘制对象没有与当前绘制对象相似的对象,不触发切换绘制对象的功能。
4、待绘制的绘制对象的显示位置
终端设备检测待绘制的绘制对象在终端屏幕的显示位置,若检测出存在不在终端屏幕的显示区域内的待绘制的绘制对象,则终端设备触发智能切换绘制对象的功能,若检测出待绘制的绘制对象均在终端屏幕的显示区域内,则用户可以看到所有的绘制对象,那么终端设备可以不触发自动切换绘制对象的功能。
5、绘制焦点对应的绘制内容的历史处理信息
其中,绘制焦点对应的绘制内容的历史处理信息包含放大状态。
终端设备可以根据当前绘制内容(即绘制焦点对应的绘制内容)的放大状态,确定是否需要触发智能切换绘制对象的功能。
如图12所示,若当前绘制内容处于放大状态,则某些待绘制的绘制对象可能并不在终端屏幕的显示区域内,因此终端设备可以触发智能切换绘制对象的功能;如图13所示,若当前绘制内容没有放大,屏幕上显示的区域为整个画布,则用户可以看到所有的绘制对象,那么终端设备可以不用触发自动切换绘制对象的功能。
进一步的,终端设备可以对绘图中的对象进行识别,并计算绘制对象间的相似度,当终端设备触发了智能切换绘制对象的功能后,根据下述至少一项确定切换后的绘制对象:与用户绘制焦点对应的绘制对象之间的距离;与用户绘制焦点对应的绘制对象之间的相似性;用户指令。
终端设备可以根据与用户绘制焦点对应的绘制对象之间的距离和/或相似性,确定切换后的绘制对象,并自动执行切换绘制对象的操作。
终端设备也可以根据与用户绘制焦点对应的绘制对象之间的距离和/或相似性,推荐待绘制的绘制对象,根据用户指令执行切换绘制对象的操作。
具体的,终端设备可以根据计算机视觉方面的一些相关算法,在用户勾勒完轮廓后,根据轮廓形状可以识别大部分的对象,在绘画过程中也会增加对一些未识别对象的识别,根据两对象之间的相似性确定切换后的绘制对象,或者确定推荐切换对象的顺序对象之间的相似度确定推荐切换顺序。终端设备根据用户勾勒出的轮廓可以得到各个独立的对象,并根据识别对象的形状、线条、填充、纹理、绘画部位、绘画顺序,根据识别对象的按照形状、线条、填充、纹理、绘画部位、绘画顺序得到两对象之间的相似度度,从而决定切换后的绘制对象,或者推荐切换对象的优先顺序。当对象相似度相同时,则根据与当前绘制对象的距离由近及远确定切换后的绘制对象,或者推荐顺序。
例如,若终端设备已识别出绘图中有4个相似的绘制对象A、B、C、D,正在绘制的对象为A,当触发了自动切换绘制对象时,终端自动计算B、C、D与A的距离d1、d2、d3和相似度r1、r2、r3,若满足d1=d2<d3,r1<r2=r3,则推荐顺序为r2、r3、r1。
更进一步的,切换绘制对象之后,还可以根据切换后的绘制对象的大小自动调整画布的缩放比例,使得切换后的绘制对象以最佳的尺寸显示在屏幕上,使用户在查看切换后的绘制对象时,可以查看到该绘制对象的整体。
由此可以实现,当用户绘制完一个对象,需要绘制的下一个对象距离较远时,可根据图像识别结果,通过计算各绘制对象的相似度对相似对象进行分类,在绘制时自动切换绘制对象,从而实现了绘制焦点的切换,用户不再需要手动缩小、拖动、再放大等一系列操作,提高了用户绘制效率。
五、调整绘制内容的分辨率
如图14所示,焦点定位过程经常伴随着画布缩放,若初始创建画布时的分辨率设置较低,画布放大后的显示质量就会很差。为满足用户对画布分辨率的不同要求,本发明实施例中终端设备可以根据画布的缩放比例自适应的调整画布的分辨率,提高画布的显示效果,从而提高了绘制内容的分辨率。画布分辨率提高后,终端允许用户进行一些局部美化操作。
终端设备通过检测画布缩放比例变化和/或用户指令,判断用户有提高分辨率的需求,此时,终端触发自适应调整画布分辨率的功能,自动提高画布的分辨率,后续按照高分辨率进行绘制,并将已绘制的低分辨率的内容进行处理,以适应提高后的分辨率。
具体可通过以下方式中的至少一项触发自适应调整画布分辨率的处理:
1、画布缩放比例变化
终端屏幕上的显示质量与画布的缩放比例有关,当画布放大时,若画布分辨率不提高,则终端屏幕上显示区域的分辨率降低,画布的显示质量就会变差。因此终端设备可以依据画布缩放比例的变化触发自适应调整画布分辨率的功能,即当画布缩放比例增大时触发终端自动提高画布分辨率的功能,当画布缩放比例减小时触发终端降低画布分辨率的功能,从而提高画绘画质量。
2、用户指令
用户可以通过语音、手势、按键、外部控制器等交互方式以及这些交互方式的任意组合的方式发出自适应调整画布分辨率的指令,终端设备检测到自适应调整画布分辨率的指令后,触发自适应调整画布分辨率的功能。例如,用户可以通过预先设定语音开启指令“调整分辨率”,可以通过长按指定硬件按键或绘画软件中的控件按钮,也可以通过隔空手势、摇晃终端/翻转终端/倾斜终端等一种或多种方式的组合,用户也可以通过绘制笔、可穿戴设备等外部控制器开启。
所述自适应调整画布分辨率处理依据当前画布的尺寸、终端屏幕尺寸以及终端屏幕分辨率确定调整后的画布分辨率。具体说明如下:
当前画布的分辨率若能保证与终端屏幕的显示分辨率相同,则可确保画布的显示质量,终端设备可以根据当前画布的大小与终端屏幕大小的比例确定当前画布的分辨率。
例如,若画布的初始分辨率为x0×y0,屏幕的显示分辨率为x1×y1,画布缩放比例上限为K1,如图15所示,当画布缩放比例小于K0时,画布的分辨率系数s恒为1,当画布缩放比例大于K0小于画布缩放比例上限K1时,画布的分辨率系数s与画布的缩放比例k成正比。其中,K0是由终端屏幕显示分辨率与画布分辨率的比值来确定的,即当画布的缩放比例为K0时,终端屏幕上显示的画布区域的分辨率等于终端屏幕的显示分辨率,当画布的缩放比例大于K0时,画布的分辨率系数s与缩放比例k成正比,使终端屏幕上显示区域的分辨率与终端屏幕的显示分辨率相同,从而保证画布的显示质量。
其中,触发自适应提高画布分辨率的缩放比例下限K0与终端屏幕的显示分辨率有关,画布缩放比例的上限K1与终端屏幕尺寸有关,因此画布分辨率的确定与终端屏幕的显示分辨率和尺寸有关。如图16a所示,终端屏幕的显示分辨率越高,则K0越大,即触发自适应提高画布分辨率的缩放比例下限就越大,当终端屏幕尺寸相同,即K1相同时,画布分辨率提高的速率就越大;如图16b所示,终端屏幕的尺寸越大,则画布缩放比例上限K1越小,若终端屏幕的分辨率相同,即K0相同,则分辨率系数s的最大值也越小。
更进一步的,所述自适应调整画布分辨率的处理还包括对画布进行图像处理,以提高画布的分辨率。当画布放大到一定比例后,画布的分辨率低于终端屏幕的显示分辨率,则画布的显示质量就会下降,需要提高画布的分辨率,以提高画布的显示质量。具体可采用以下至少一项进行处理:
1、插值处理
终端设备触发了自适应调整画布的分辨率后,画布需要确定增加的像素点的颜色值,图像差值是最常用的方法,可以根据画布中该插入像素的邻近点的颜色值计算该像素点的颜色值。插值方式有最近点插值、双线性插值以及高阶插值,其中,最常用的是双线性插值。
2、自然边界光滑处理
画布放大后,边界会出现锯齿状,可以通过自然边界光滑处理进行反走样。终端设备触发了自适应调整画布的分辨率后,会自动检测画布中的线条和绘制对象的绘制边界,并对边界进行拟合,给出辅助线,将图像中的边界平滑处理,提高画布的绘制质量,如图17所示。
3、线条内部光滑处理
终端设备触发了自适应调整画布的分辨率后,可以采用Perlin噪声,如图18所示,对线条或笔画内容进行纹理增强,使画布上一些线条或笔画内部的纹理信息更加真实。
4、轮廓调整
终端设备触发了自适应调整画布的分辨率后,画布分辨率提高,用户可以根据需要对已绘制内容进行局部微调。如图19所示,终端系统可以根据用户固定的两个点识别出两固定点之间的轮廓线,根据用户的手动处理对轮廓进行微调。
六、扩展承载绘制内容的画布处理
用户在绘画时,通常会先布局再绘制,但有时会想增加一些内容,终端设备可以根据检测绘制笔的运动状态判断用户的绘制意图,根据用户的绘制意图自动扩展画布。例如,用户在绘制过程中或绘制完后,发现想加些内容,那么在绘制过程中,系统会自动检测笔的绘制趋势,若有尾部超出了画布,则该笔绘制完后系统就会自动扩展画布,并根据当前笔画的趋势自动补齐尾部,并以补充的笔画尾部作为终端屏幕的显示区域,用户可以接着绘制。
具体实施例1:用户在绘制完一幅山水画之后,想在画的旁边附上一首诗,但是在之前构思的时候并没有预留写诗的地方,此时,用户可以继续创作,当笔画超出画布时画布会自动延伸。
具体实施例2:用户想绘制一幅清明上河图,但画布预设尺寸比例与分辨率都是有限的,用户可以将清明上河图从左到右分成几部分来绘制,每绘制完一部分后,画布会自动扩展,用户就可以继续下一部分的绘制了。
实际绘画中,根据用笔力道和绘制速度不同,绘制的笔迹粗细和长短也不同,在绘画软件中,可以根据绘制笔的压力和速度计算笔迹的形状。可以根据笔画的趋势、压力等信息自动扩展画布,用户也可以关闭自动扩展画布功能,此时系统自动为画布增加虚拟画布,以便后续扩展画布处理时自动补齐先前绘制内容的尾部。具体可通过以下方式中的至少一项触发自动扩展画布处理:
1、绘制笔运动趋势
绘制笔的运动趋势判断依据可以为绘制笔的运动方向、速度和压力等信息,终端设备根据绘制笔的运动方向确定运动轨迹的变化,根据绘制笔的运动速度和压力确定运动轨迹的形状以及笔迹的尾部。当终端设备检测到绘制笔已经到达屏幕边缘,且运动方向为屏幕外,绘制笔的速度和压力均大于零,则终端认为用户此笔的绘制不完整,触发终端扩展画布的功能。
2、终端屏幕显示的画布区域
用户在终端设备上绘画时,由于终端屏幕尺寸有限,因此用户通常会采用缩放/移动处理改变画布的大小和画布在屏幕上的显示区域,若终端屏幕上显示区域包含了画布的边界,或画布边界与终端屏幕的边界重合,则当终端检测到绘制笔的绘制位置在画布边界处的速度、压力没有减小到零,则触发扩展画布的功能。
若终端屏幕上显示的只是画布的部分,并且不包含画布的边界,则当终端检测到绘制笔的位置到达屏幕边界,但速度和压力没有减小到零,则自动计算笔迹尾部,若计算出的笔迹尾部超出当前画布边界,则触发扩展画布的功能。
3、用户指令
用户可以通过语音、手势、按键、外部控制器等交互方式以及这些交互方式的任意组合的方式发出扩展画布的指令,终端设备检测到扩展画布的指令后,触发扩展画布的功能。例如,用户可以通过预先设定语音开启指令“向左/右/上/下扩展画布”,可以通过长按指定硬件按键或绘画软件中的控件按钮,也可以通过隔空手势、摇晃终端/翻转终端/倾斜终端等一种或多种方式的组合,用户也可以通过绘制笔、可穿戴设备等外部控制器开启。
本发明实施例提出,终端设备在扩展承载绘制内容的画布之后,还可以根据绘制笔在画布中的绘制轨迹以及绘制笔运动趋势,在扩展的画布中拟合出用户的绘制内容。
具体的,终端设备根据特定信息(如绘制笔在画布中的绘制轨迹以及绘制笔运动趋势)进行样条拟合当前画布外的可能轨迹,并确定扩展的画布宽度。当终端设备触发了扩展画布的功能时,若当前屏幕上包含了画布的边界或画布边界与终端屏幕的边界重合,如图20所示,则终端设备根据绘制笔在屏幕上画布外的轨迹计算生成绘画笔迹,如图20中的(a)所示,或者终端设备记录绘制笔离开边界的位置x0、速度v0和压力P0等信息,当检测到绘制笔从边界再次进入时,终端记录此时绘制笔的位置x1、速度v1和压力p1等信息,终端可以采用Bezier样条拟合出绘制笔离开画布后可能的轨迹,根据速度和压力变化计算生成笔迹的形状、颜色等信息,如图20中的(b)所示。画布扩展出的宽度应与计算生成笔迹的宽度成正比。如图20中的(c)所示。
若终端设备检测到绘制笔离开屏幕后没有从画布边界处进入,则根据绘制笔离开画布前的轨迹以及绘制笔到达画布边界处的速度和压力样条拟合,计算生成可能的轨迹和形状、颜色等信息。
如图21所示,若屏幕上的显示区域为画布内部的部分区域,则当终端设备检测到绘制笔到达屏幕的边界时,若绘制笔的速度、压力没有减小到零,则终端自动计算终端屏幕外部的轨迹,并移动画布,显示补全的笔迹尾部。
自动扩展画布功能使用户绘制的线条更加完整、自然,如图22a所示,此外,用户也可以根据需要随时中断或关闭自动扩展画布功能,采用方式可以为按钮操作、手势、语音等方式。当用户关闭自动扩展画布功能后,绘制到画布边缘处的笔迹被截断,这样在以后用户想要扩展画布时边缘处的笔迹效果就显得很不自然,因此,在关闭自动扩展画布功能时,终端会自动为画布增加一个较大的虚拟画布,虚拟画布上为完整的笔迹,当用户在后续操作时希望扩展画布时可以还原先前绘制的完整笔迹,如图22b所示。
由此可以实现在自动定位绘制焦点时,根据画布的缩放比例自适应调整画布的分辨率;在绘制内容超出画布时自动扩展画布,并增加对细节信息的美化和微调功能。
七、显示绘制参考信息处理
一些绘画系统中允许用户加载图片作为绘制参考,但现有技术中导入参考图片一般需要手动搜索并导入,用户寻找的过程耗时较长并且存在找不到合适图片的情况,效率低且效果往往不尽如人意。本发明实施例根据绘制焦点对应的绘制内容,查找绘制参考信息,并显示查找到的绘制参考信息,可以搜索本机中或网络中与已绘制内容相似的对象进行推荐。其中,终端设备可以根据与绘制焦点对应的绘制内容的内容相似性和/或风格相似性,查找绘制参考信息。
例如,用户勾勒出多个对象,可是在绘制时自己也不清楚想要实现怎样的绘制效果或风格,则系统会自动根据绘制的内容推荐一些相似的内容,用户可以根据自己的喜好选择参考图片。具体实施例:用户想绘制一个荷塘,荷塘中有一群鱼,用户想绘制出鱼的千姿百态,可是用户能想到的只有几种姿势,而其中细节想要绘制成什么风格却不清楚,此时,用户可以先勾勒出各种姿势的鱼的轮廓,当逐个绘制鱼的细节时,系统会自动对当前绘制的鱼进行搜索匹配,找到本机和网络上比较相似的目标供用户选择,用户可以挑选自己喜欢的细节进行绘制,如图23所示。
当终端检测出用户开始逐个补充对象的细节时,触发自动推荐的功能,也可以当终端触发智能放大画布功能的同时触发自动推荐功能。
终端设备可以根据与绘制焦点对应的绘制内容的内容相似性,查找绘制参考信息。当终端触发了自动推荐功能时,终端设备结合图像识别技术,根据当前绘制内容(即绘制焦点对应的绘制内容),优先搜索本机中是否存在内容相似的对象,若有之前绘制过的相似图片则截取相应对象作为推荐,若有网络,则通过网络搜索相似对象作为推荐。
进一步,本实施例所述方法还包括基于绘制焦点对应的绘制内容的显示方式,调整所述绘制参考信息的显示方式。显示方式包括缩放比例和/或显示位置。
终端设备根据用户对当前画布操作时画布的显示区域,调整推荐信息的显示区域。例如,假设当前画布的缩放比例为k1,终端屏幕中心位置对应画布的位置为(x1,y1),推荐图像的初始缩放比例为k2,推荐信息窗口的中心对应推荐图像的位置为(x2,y2),当终端检测到当前画布的缩放比例变为k1’,且终端屏幕中心位置对应画布的位置变为(x1’,y1’)时,则终端自动调整推荐内容的缩放比例和显示位置,推荐图像的缩放比例变为推荐信息窗口的中心对应推荐图像的位置变为(x2’,y2’),其中
如图24所示,用户选择了参考图片后,该图片随用户操作动态变化,将对应区域显示在推荐窗口中,若用户在绘制眼部区域,则自动将眼部的细节信息展示在小窗中,用户拖动画布,显示部位也随之变化,用户缩放画布,显示部分也随之缩放,用户绘制头部区域,则显示的区域也自动将头部区域移到显示窗中,用户拖动画布到脚部,则终端设备将脚部显示到小窗中,总是将绘制焦点作为显示焦点。
通过上述处理可以实现绘画过程中自动搜索并动态显示与绘制内容相似的图像。
终端设备也可以根据与绘制焦点对应的绘制内容的风格相似性,查找绘制参考信息。具体的,可以通过边缘特征提取等图像处理技术,搜索与当前绘制内容相似的带有某种绘制风格的图像作为推荐,用户可以在推荐图像中选择喜好的绘制风格,也可以手动选取其他图片中自己喜欢的绘制风格,终端设备根据用户选择的图片及选取区域,分解相关信息,从而提取绘制风格,构建知识库,在绘制时实现与之风格相同的绘制效果,如图25所示。
选取推荐风格模板的方式主要有圈选或点选,从图片中提取的信息可以是色调、纹理、光照、线条、形态等信息,再根据绘制时笔的压力、粗细等信息实时生成相同风格的绘制效果,也可在绘制完之后进行风格拷贝。
图26为本发明的另一实施例提供的终端设备的绘制内容处理装置的结构示意图,包括定位模块11、处理模块12,其中,
所述定位模块11用于基于用户的绘制操作,对用户绘制焦点进行定位;所述处理模块12用于根据定位的绘制焦点,对终端设备显示的绘制内容进行相应处理。
本发明还提供一种终端设备,用于执行上述所述终端设备的绘制内容处理方法,或内置上述终端设备的绘制内容处理装置。如图27所示,为终端设备在绘图过程中的具体处理的示意图。
图27(a)~27(e)为用户更换笔型触发终端设备放大画布功能,绘制笔移向绘制目标对象,当用户所选对象在画布中所占的比例非常小时,用户很难直接选中自己想要绘制的位置,则终端将自动识别出的对象显示在终端屏幕上,参照图27(a);此时用户可以很方便地选择自己想要绘制的位置,参照图27(b);用户将笔落向自己想要绘制的位置并悬停,参照图27(c);与此同时终端设备会再次以悬停位置为中心智能放大画布,参照图27(d);用户落笔即可进行绘制,参照图27(e)。若画布放大到图27(b)的状态时,或者在图27(c)系统继续智能放大的中间过程中,用户觉得放大倍数已经满足需要了,可以随时中断终端设备的智能放大处理,进入图27(e)的绘制状态。
图27(f)为用户绘制了细节后,抬笔查看整体绘制效果,系统自动选择与当前绘制内容最相关的区域显示,并根据抬笔高度显示与绘制内容相关的不同层次的区域,以便用户有效地、渐进地查看整体绘制效果,当抬笔高度达到预定高度阈值时,显示整个画布。
图27(g)为用户查看绘制内容在局部相关区域中的整体效果,用户查看完效果后可能需要继续在该区域进行修改或绘制,也可能对绘制效果较满意,想绘制下一个对象。当用户选择落笔位置在抬笔前绘制的区域时,系统认为用户想要继续绘制或修改,若选择位置与抬笔前绘制位置的距离小于设定阈值时认为用户想要继续绘制,则系统自动将画布的放大状态还原到抬笔前的状态,并将抬笔前的绘制位置定位在笔在终端设备屏幕上的当前映射位置,如图27(h);若选择位置与抬笔前绘制位置的距离大于设定阈值时,认为用户是想修改选定位置的已绘制内容,则系统自动将画布的放大状态还原到笔在终端设备屏幕上的当前映射位置在绘制时的画布放大状态。若用户对当前绘制效果满意,则需要继续绘制下一个对象,当画布中有多个相似的绘制对象时,用户一般比较倾向于挨个完成相似对象的绘制,再去绘制其他的对象,当这些相似的绘制之间相距较远时,终端设备可以给用户提供自动切换的功能,这样用户可以在完成一个对象后,通过终端设备上显示的切换键选择系统推荐的绘制对象,如图27(i)。
相比现有技术,本发明的方案具有以下优点:
1、对于绘画过程中,需要定位绘制焦点时,用户只需简单的抬笔/落笔/换笔等操作,本发明所述方法或装置会自动结合笔的交互操作和绘制对象,实时对绘制焦点进行定位,简化了用户在定位绘制焦点时不断手动缩放和拖动的操作。同时,在对焦点进行定位的过程中,通过自适应调整分辨率提高绘画的显示质量和绘制速率,并实时推荐参考内容,允许用户指定绘制风格从而更加方便地获得相同的绘制风格;
2、即使是在有限的终端上绘画,也可以体会到比在真实的画布上更加愉悦的绘画体验;
3、不需要用户手动缩放和拖动画布定位绘制焦点,符合用户的操作习惯,绘制效率较高;
4、在用户绘画突然中断时,可以自动定位到上次绘制的位置,用户不需要再花费很长时间定位;
5、当绘制对象距离较远时,自动切换绘制对象,用户不再需要手动缩放、拖动、再缩放等繁琐的操作;
6、用户绘制过程中根据已绘制内容实时给出推荐信息,使用户的绘制有所参考;
7、用户不需要通过设置复杂的绘制笔参数来实现一些特殊效果,而是可以很方便地从图像中指定自己的绘制风格,而且绘制效果将更加丰富。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:终端设备和图片处理方法