加载场景的方法、装置、设备以及存储介质
技术领域
本公开涉及计算机、深度学习等人工智能
技术领域
,尤其涉及增强现实AR技术领域
。背景技术
Lua是一个小巧的脚本语言,其设计目的是为了嵌入应用程序中,从而为应用程序提供灵活的扩展和定制功能。Lua由标准C语言编写而成,在很多操作系统和平台上都可以编译和运行。如今,Lua在AR(增强现实)、游戏等领域中应用较为广泛。
发明内容
本公开提供了一种加载场景的方法、装置、设备、存储介质以及程序产品。
根据本公开的一方面,提供了一种加载场景的方法,包括:针对多个应用中处于活跃状态的目标应用,创建与所述目标应用对应的局部子空间,并将与所述目标应用对应的第一场景数据存储至所述局部子空间;响应于针对所述目标应用的目标场景加载操作,获取所述局部子空间中与所述目标场景加载操作对应的第一场景数据和/或已创建的全局子空间中与所述目标场景加载操作对应的第二场景数据;以及利用已创建的虚拟机,根据所述第一场景数据和/或所述第二场景数据,加载目标场景,其中,所述多个应用基于宿主语言,所述虚拟机基于与所述宿主语言不同的嵌入式语言。
根据本公开的另一方面,提供了一种加载场景的装置,包括:创建模块,用于针对多个应用中处于活跃状态的目标应用,创建与所述目标应用对应的局部子空间,并将与所述目标应用对应的第一场景数据存储至所述局部子空间;获取模块,用于响应于针对所述目标应用的目标场景加载操作,获取所述局部子空间中与所述目标场景加载操作对应的第一场景数据和/或已创建的全局子空间中与所述目标场景加载操作对应的第二场景数据;以及加载模块,用于利用已创建的虚拟机,根据所述第一场景数据和/或所述第二场景数据,加载目标场景,其中,所述多个应用基于宿主语言,所述虚拟机基于与所述宿主语言不同的嵌入式语言。
本公开的另一个方面提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开实施例所示的方法。
根据本公开实施例的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行本公开实施例所示的方法。
根据本公开实施例的另一方面,提供了一种计算机程序产品,计算机程序,所述计算机程序在被处理器执行时实现本公开实施例所示的方法。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开实施例的可以应用加载场景的方法的程序示意图;
图2A示意性示出了根据本公开的实施例的加载场景的方法的流程图;
图2B示意性示出了根据本公开另一实施例的加载场景的方法的流程图;
图3示意性示出了根据本公开另一实施例的加载场景的方法的流程图;
图4示意性示出了根据本公开另一实施例的加载场景的方法示意图;
图5示意性示出了根据本公开实施例的加载场景的装置的框图;以及
图6示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
以下将结合图1对本公开提供的加载场景的方法和装置的应用场景进行描述。
图1是根据本公开实施例的可以应用加载场景的方法的程序示意图。
如图1所示,该程序100包括应用控制器(ApplicationController)110、虚拟机120和多个应用(Application)130。
根据本公开的实施例,程序100的程序主体可以基于SDK(Software DevelopmentKit,软件开发工具包)开发,包含一个或多个SDK功能模块。SDK功能模块例如包括可以用于加载3D模型的3D模型加载模块、可以用于实现贴纸效果的贴纸效果模块、可以用于场景渲染的场景渲染模块等等。
根据本公开的实施例,应用控制器110可以用于控制多个应用130的状态和行为。例如,应用控制器110可以用于创建多个应用130,也可以用于删除多个应用130,应用控制器110还可以控制各个应用130处于活跃状态或者非活跃状态。若应用130处于活跃状态,则表示该应用130当前是可操作的,否则表示该应用130当前不可操作。示例性地,本实施例中,同一时间内最多有一个应用130是可操作的,即同一时刻处于活跃状态的应用130最多有一个。
根据本公开的实施例,虚拟机120可以用于执行采用与程序主体不同的语言编写的脚本文件,该脚本文件可以调用程序100所包含的SDK功能模块,以执行相应的操作,例如美妆、磨皮等图像处理操作。本实施例中,程序100的主体所基于的语言可以称为宿主语言,虚拟机120和脚本文件所基于的语言可以称为嵌入式语言。示例性地,本实施例中,宿主语言例如可以包括C语言或C++语言,嵌入式语言例如可以包括Lua语言。
根据本公开的实施例,可以在创建多个应用130时创建虚拟机120,并且在删除该多个应用130时删除虚拟机120,即虚拟机120的生命周期可以与应用控制器110一致。
根据本公开的实施例,虚拟机120为全局变量,可以供每个应用130访问。
根据本公开的实施例,可以针对多个应用130,创建全局子空间140。其中,全局子空间140为全局变量,可以供每个应用130使用,可以用于存储多个应用130共同使用的场景数据。另外,可以针对该多个应用130中处于活跃状态的应用130,创建局部子空间150。此外,当该应用130由活跃状态转为非活跃状态时,可以删除对应的局部子空间150,以释放空间。其中,局部子空间150为局部变量,可以供处于活跃状态的应用130使用,用于存储除与其他应用共同使用的场景数据之外的其他与该应用130相关的场景数据。作为一个可选的实施例,全局子空间140和局部子空间150可以设置在虚拟机120中。
根据本公开的实施例,场景数据可以为执行场景加载操作时所需的数据,例如可以包括脚本文件、场景配置文件、模型文件和关联资源等等。其中,模型文件例如可以包括fbx、glft等格式的文件。关联资源例如可以包括用于描述模型组成的bin二进制文件、用于描述模型外貌的纹理文件等。纹理文件例如可以包括png、jpg、jpeg、ktx、bmp等格式的图片描述文件。
根据本公开的实施例的虚拟机提供了一个全局的嵌入式脚本执行环境,可以供多个应用使用,可以在不同场景下,与对应的功能模块进行交互,实现与场景对应的场景效果。
以相机程序为例,在相机程序的使用过程中,美白、磨皮等功能是独立于任何场景之外的。当相机程序没有加载AR特效场景时,美妆功能依然是需要开启的。当相机程序加载AR特效场景之外的其他场景后,可以根据需求对全局的美妆效果进行屏蔽,并通过虚拟机与全局美妆效果所对应的功能模块进行交互,以实现与该场景对应的定制化美妆效果。
以下将结合图2A对本公开提供的加载场景的方法进行描述。
图2A示意性示出了根据本公开的实施例的加载场景的方法的流程图。
如图2A所示,该加载场景的方法包括操作S210~S230。
在操作S210,针对多个应用中处于活跃状态的目标应用,创建与目标应用对应的局部子空间,并将与目标应用对应的第一场景数据存储至局部子空间。
然后,在操作S220,响应于针对目标应用的目标场景加载操作,获取局部子空间中与目标场景加载操作对应的第一场景数据和/或已创建的全局子空间中与目标场景加载操作对应的第二场景数据。
在操作S230,利用已创建的虚拟机,根据第一场景数据和/或第二场景数据,加载目标场景。
根据本公开的实施例,可以预先创建虚拟机,并创建全局子空间,用于存储第一场景数据,其中,第一场景数据包括目标应用独自使用的场景数据,第二场景数据包括多个应用可能用到的场景数据。第一场景数据和第二场景数据可以分别包括脚本文件、场景配置文件、模型文件和关联资源中的任意一种或多种。其中,脚本文件可以用于执行相应的操作,例如建议包括调用系统的功能模块的操作。场景配置文件可以包括应用场景中的配置信息,例如可以为JSON格式。模型文件例如可以包括fbx、gltf等格式的文件。关联资源例如可以包括用于描述模型组成的bin二进制文件、用于描述模型外貌的纹理文件等。纹理文件例如可以包括png、jpg、jpeg、ktx、bmp等格式的图片描述文件。
根据本公开的实施例,系统中可以运行有多个应用,应用的状态可以包括活跃状态和非活跃状态,应用的状态可以切换。目标应用可以为该多个应用中当前处于活跃状态的应用。示例性地,本实施例中,同一时间内处于活跃状态的应用最多有一个。
根据本公开的另一些实施例,响应于目标应用由活跃状态转变为非活跃状态,删除与目标应用对应的局部子空间。
根据本公开的实施例,目标应用场景加载操作例如可以包括多个子操作。子操作例如可以包括例如美妆特效、添加贴纸特效等图像处理操作。
根据本公开的实施例,可以获取与目标场景加载操作对应的子操作集,其中,子操作集中包括至少一个第一子操作和/或至少一个第二子操作;以及获取局部子空间中与至少一个第一子操作对应的第一场景数据,和/或全局子空间中与至少一个第二子操作对应的第二场景数据。
下面参考图2B,结合具体实施例对上文所示的加载场景的方法做进一步说明。本领域技术人员可以理解,以下示例实施例仅用于理解本公开,本公开并不局限于此。
示例性地,本实施例中,可以通过应用控制器创建多个应用。该多个应用中的应用A可以用于为图像增加特效。
图2B示意性示出了根据本公开另一实施例的加载场景的方法的流程图。如图2B所示,在应用A处于活跃状态的情况下,需要执行场景加载操作。该场景加载操作包括子操作b1和b2,其中,子操作b1所对应的场景数据C1位于全局子空间,子操作b2所对应的场景数据C2位于局部子空间。虚拟机获取全局子空间内的C1和局部子空间内的C2。执行C1和C2中的Lua脚本,以调用相应的功能模块,并根据C1和C2中的场景配置文件、模型文件和纹理文件,为图像增加特效。
根据本公开的实施例,多个应用可以基于宿主语言,虚拟机可以基于与宿主语言不同的嵌入式语言。示例性地,本实施例中,宿主语言例如可以包括C语言或C++语言,嵌入式语言例如可以包括Lua语言。
根据本公开的实施例,第一场景数据和第二场景数据包括脚本文件,其中,脚本文件可以用于调用基于宿主的功能模块来实现对应的功能。脚本文件可以基于与虚拟机相同的嵌入式语言。基于此,加载第一场景数据和/或第二场景数据例如可以包括,利用虚拟机执行第一场景数据和第二场景数据中的脚本文件,脚本文件可以用于调用系统的功能模块来实现对应的功能。
相关技术在应用转为活跃状态时,动态生成虚拟机,并利用虚拟机加载应用所需的场景数据,在应用转为非活跃状态时,删除虚拟机。但是在这种情况下,多个应用之间无法共享场景数据。
根据本公开的实施例,利用全局子空间存储所有应用都会使用的场景数据,并在应用处于活跃状态时,创建局部子空间来存储该处于活跃状态的应用独自使用的场景数据,可以使多个应用之间共享场景数据。另外,多个应用共享一个虚拟机,当应用需要加载场景时,利用虚拟机,分别从全局子空间和局部子空间获取对应的场景数据进行加载。不需要频繁创建和删除虚拟机,减少了运算开销。
图3示意性示出了根据本公开另一实施例的加载场景的方法的流程图。
如图3所示,该加载场景的方法300包括操作S310~S360。
在操作S310,创建应用控制器。
根据本公开的实施例,应用控制器可以用于控制应用的状态和行为。
在操作S320,利用应用控制器创建多个应用和虚拟机。
根据本公开的实施例,可以在创建多个应用时,创建虚拟机,该虚拟机可以被该多个应用共享使用。
在操作S330,创建全局子空间,并将与多个应用对应的第二场景数据存储至全局子空间。
根据本公开的实施例,全局子空间可以为全局对象,可以供多个应用使用。本实施例中,可以将多个应用共同使用的场景数据存储至全局子空间中。
在操作S340,针对多个应用中处于活跃状态的目标应用,创建与目标应用对应的局部子空间,并将与目标应用对应的第一场景数据存储至局部子空间。
根据本公开的实施例,可以将当前处于活跃状态的应用独自使用的场景数据存储至局部子空间。
在操作S350,响应于针对目标应用的目标场景加载操作,获取局部子空间中与目标场景加载操作对应的第一场景数据和/或已创建的全局子空间中与目标场景加载操作对应的第二场景数据。
在操作S360,利用已创建的虚拟机,根据第一场景数据和/或第二场景数据,加载目标场景。
根据本公开另一些实施例,应用控制器还可以删除该多个应用。在该多个应用被删除的情况下,可以相应地删除虚拟机,以释放虚拟机所占的资源。
根据本公开的实施例的加载场景的方法,可以保证每个应用与功能模块之间的消息传递通道是独立的,每个应用可以在加载场景时向对应的功能模块传递定制化消息,以调用功能模块实现定制化效果。另外,可以避免不同场景间的消息干扰,提高了兼容性。
下面参考图4,结合具体实施例对上文所示的加载场景的方法做进一步说明。本领域技术人员可以理解,以下示例实施例仅用于理解本公开,本公开并不局限于此。
示例性地,本实施例中,程序主体可以基于C++语言,虚拟机可以为Lua虚拟机,脚本文件可以为Lua脚本,Lua虚拟机和Lua脚本均基于Lua语言。
图4示意性示出了根据本公开另一实施例的加载场景的方法示意图。
在图4中示出了,程序400包括程序主体410、Lua虚拟机420。其中,程序主体410包括功能模块411、与功能模块411对应的C++接口412和胶水函数413,虚拟机420包括Lua接口421和场景数据422。场景数据422包括Lua脚本4221。需要说明的是,图4中功能模块、C++接口、Lua接口、场景数据和Lua脚本的数量仅为示例,在实际应用中可以由任意数量的功能模块、C++接口、Lua接口、场景数据和Lua脚本。
根据本公开的实施例,功能模块411可以由程序400集成的SDK提供。每个功能模块可以用于提供对应的基础能力,例如实现3D模型加载、贴纸效果、场景渲染等的能力。
C++接口412可以用于提供对外的接口。可以通过调用C++接口412加载相应的功能模块,以实现相应的基础能力。
胶水函数413,可以用于将C++接口转换成Lua脚本可以调用的接口。根据本公开的实施例,接口函数413可以基于第三方软件包实现。示例性地,本实施例中,可以基于tolua++实现胶水函数413。tolua++可以用于在程序运行时,将针对Lua接口的调用转换成针对对应的功能模块的调用。
根据本公开的实施例,每个应用可以对应一个或多个场景数据422,每个场景数据422可以包含一个或多个Lua脚本4221。需要说明的是,除了Lua脚本4221之外,场景数据422还可以包括其他数据,例如配置文件、模型文件、纹理文件等,本公开对此不做具体限定。
根据本公开的实施例,可以在Lua虚拟机420中创建全局子空间,用于存储各应用共用的场景数据,并针对当前处于活跃状态的应用创建局部子空间,用于存储除共用场景数据之外该应用所需使用的其他场景数据。
根据本公开的实施例,在处于活跃状态的应用加载场景时,Lua虚拟机分别从全局子空间和与该应用对应的局部子空间获取所需的场景数据,然后执行场景数据中的Lua脚本,以调用对应的Lua接口,胶水函数将对Lua接口的调用转换为对对应的C++接口的调用,从而使应用可以使用功能模块所提供的能力,实现场景的加载。
图5示意性示出了根据本公开实施例的加载场景的装置的框图。
如图5所示,该加载场景的装置500包括创建模块510、获取模块520和加载模块530。
创建模块510,用于针对多个应用中处于活跃状态的目标应用,创建与所述目标应用对应的局部子空间,并将与所述目标应用对应的第一场景数据存储至所述局部子空间。
获取模块520,用于响应于针对所述目标应用的目标场景加载操作,获取所述局部子空间中与所述目标场景加载操作对应的第一场景数据和/或已创建的全局子空间中与所述目标场景加载操作对应的第二场景数据。
加载模块530,用于利用已创建的虚拟机,根据第一场景数据和/或第二场景数据,加载目标场景,其中,所述多个应用基于宿主语言,所述虚拟机基于与所述宿主语言不同的嵌入式语言。
需要说明的是,本公开的技术方案中,所涉及的用户个人信息的获取、存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图6所示,设备600包括计算单元601,其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序,来执行各种适当的动作和处理。在RAM 603中,还可存储设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
设备600中的多个部件连接至I/O接口605,包括:输入单元606,例如键盘、鼠标等;输出单元607,例如各种类型的显示器、扬声器等;存储单元608,例如磁盘、光盘等;以及通信单元609,例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理,例如加载场景的方法。例如,在一些实施例中,加载场景的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元608。在一些实施例中,计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到RAM 603并由计算单元601执行时,可以执行上文描述的加载场景的方法的一个或多个步骤。备选地,在其他实施例中,计算单元601可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行加载场景的方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。