百科技术库 各行业技术资料 - 百科资料网
欢迎来到百科技术库 各行业技术资料 - 百科资料网! [免费注册] | [登录] 微信快捷登录 QQ登录 微博登录 | 帮助中心 各行业技术应有尽有!
全国服务热线 13310018778

栏目导航

最新技术
基于禁忌搜索优化算法的全比较数据分发方法
本发明公开了一种基于禁忌搜索优化算法的全比较数据分发方法,针对现有的全量分发存在的存储空间浪费问题以及使用HDFS存储无法实现完全数据本地化问题,提出了基于禁忌搜索优化的全比较计算数据分发模型,针对该模型还设计了基于禁忌搜索优化的负载均衡全比较数据分发算法和基于禁忌搜索优化的最小化存储全比较数据分发算法用于计算本发明提出的全比较计算数据分发模型的负载均衡、存储节约能力、数据本地化率以及计算速并进行了仿真实验,实验结果表明该全比较计算数据分发模型有效解决了大规模ATAC的数据分发问题,提高了计算速度,对生物信息学等学科ATAC任务的计算将产生较好的推动效果。
计算资源规划方法以及电子设备、存储装置
本申请公开了一种计算资源规划方法以及电子设备、存储装置,其中,计算资源规划方法包括:获取算法集合在第一周期的第一资源规划方案和实际资源消耗情况;其中,算法集合包括若干种算法,第一资源规划方案包括分别为若干种算法规划的在第一周期内使用计算资源的方案;基于第一资源规划方案、实际资源消耗情况和若干种算法的属性信息,得到算法集合的第二资源规划方案;其中,第二资源规划方案包括分别为若干种算法规划的在第二周期内使用计算资源的方案,且第二周期在第一周期之后。上述方案,能够提高算法执行效果。
一种起爆器基于LINUX系统进行业务处理的方法及起爆器
本发明涉及起爆器技术领域,具体公开了一种起爆器基于LINUX系统进行业务处理的方法,包括:获取多个业务处理逻辑报文,业务处理逻辑报文为起爆器工作过程所需业务功能的逻辑报文;采用LINUX系统将多个业务处理逻辑报文分别以单独的线程进行运行处理,以使起爆器对多个业务处理逻辑报文以线程形式进行分开运行处理。本发明实施例的有益效果是:采用LINUX系统将起爆器的多个业务处理逻辑报文以线程形式进行分开运行处理,使得起爆器的各个业务处理逻辑是以多线程形式进行运行的,各个业务之间互不干扰,确保了各个业务处理过程的实时性,使得起爆器在各个工作业务环节之间的转换不会存在较大的延时。
Warp级别调度的任务调度方法、系统、GPU及设备
本发明提供一种Warp级别调度的任务调度方法、系统、GPU及设备,所述Warp级别调度的任务调度方法包括:在任务为首次任务时,离线分析用户提交任务的硬件信息及配置信息;基于所述任务的硬件信息和配置信息,获取与主流任务并行时的最大并行度;在任务为非首次任务时,基于任务的硬件信息和已收集的最大并行度决策,进行在线的任务对打包决策,将选取的任务对打包成一个新任务,并将新任务提交到GPU上,以使得任务对中的原有两个GPU任务实现warp级别的任务调度。本发明在无需用户感知提前下,实现高吞吐的Warp级别调度的任务调度,可以间接为潜在的配置多种计算单元的GPU提供调度技术的支持。
负载均衡方法及相关设备
本申请涉及云计算技术领域,提供了一种负载均衡方法及相关设备,该负载均衡方法包括:接收用户设备基于HTTP协议发送的目标服务请求;基于当前的负载状态,处理目标服务请求或基于HTTP协议重定向分区服务器;若基于HTTP协议重定向分区服务器,反馈对应的重定向信息,以使用户设备基于重定向信息发送目标服务请求。本申请的实施通过利用服务器可以获取到其服务的负载能力,与HTTP协议的重定向能力,达到自动让用户群分区分服的效果,在无需用户选择分区的同时,降低了实施的复杂度,提高了运行的稳定性。
一种任务处理的方法、装置及存储介质
本申请实施例提供一种任务处理的方法、装置及存储介质,用以降低任务处理的时延。在本申请中,驱动节点根据Yarn调度器的启动指示执行预启动,其中,驱动节点是Yarn调度器根据客户端发送的虚拟任务请求从Spark集群中选择的;驱动节点从可执行任务的消息队列中获取目标任务,并执行获取的目标任务,其中消息队列中的可执行任务是客户端发送的;驱动节点将目标任务的执行结果发送到消息队列中,以使客户端从消息队列中获取目标任务的执行结果。驱动节点是Yarn调度器根据客户端发送的虚拟任务请求预先从Spark集群中选取的,因此在有目标任务时,驱动节点直接执行,节省Yarn调度器选择驱动节点的时间,降低任务处理的时延。
一种加速能力的匹配方法及装置、设备、存储介质
本申请实施例公开了一种加速能力的匹配方法及装置、设备、存储介质,其中,该方法包括:接收与具体硬件种类、特性无关的加速需求;根据所述加速需求查找预先建立的训练模型,得到资源池的加速硬件资源规格;其中所述训练模型用于将所述加速需求转换为资源池的加速硬件资源规格;根据所述资源池中加速硬件资源的实时可用状态和所述加速硬件资源规格,对所述资源池中的加速硬件资源进行资源调度。
任务执行方法、装置、设备以及存储介质
本公开提供了一种任务执行方法、装置、设备以及存储介质,涉及计算机技术领域,尤其涉及客户端技术领域。具体实现方案为:根据应用程序的至少一个开屏任务参数,创建至少一个开屏任务,并设置至少一个开屏任务中每个开屏任务的属性;将至少一个开屏任务添加至任务队列;以及根据任务队列中每个开屏任务的属性,执行任务队列中的每个开屏任务。
多线程数据处理方法、装置、终端及采集系统
本发明提供一种多线程数据处理方法、装置、终端及采集系统。该方法包括接收串行上传的多个数据集和结束符;结束符用于表明多个数据集已上传完成;在接收到结束符后,生成包含多个并行的子线程的主线程;每个数据集对应一个子线程,结束符对应一个子线程根据多个数据集生成参考数据标识集;参考数据标识集包括每个数据集的数据标识;生成目标数据标识集,目标数据标识集包括已被对应子线程处理完成的数据集的数据标识;在检测到目标数据标识集和参考数据标识集对应,且检测到结束符已被处理完成时,退出主线程。本发明能够提高多线程数据处理的可靠性。
一种建模任务和数据分析的方法、装置、电子设备及系统
本发明公开了一种建模任务和数据分析的方法、装置、电子设备及系统,该方法包括:获取建模子任务的任务配置文件;基于建模子任务的配置文件对建模子任务进行调度,生成建模子任务的配置信息;基于配置信息及建模子任务所处的部署环境信息,生成建模子任务的启动脚本;基于建模子任务的启动脚本启动联邦学习框架系统,调用相应的联邦学习算法框架,执行建模子任务,得到目标模型,联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。通过实施本发明,结合建立的联邦学习框架,融合多种算法框架,根据建模任务调用相应的算法执行建模任务,解决了不同算法框架之间不兼容的问题,简化了产品开发过程中的复杂步骤。