百科技术库 各行业技术资料 - 百科资料网
欢迎来到百科技术库 各行业技术资料 - 百科资料网! [免费注册] | [登录] 微信快捷登录 QQ登录 微博登录 | 帮助中心 各行业技术应有尽有!
全国服务热线 13310018778

栏目导航

最新技术
一种数据导出方法、装置、计算机设备和存储介质
本发明实施例提供了一种数据导出方法、装置、计算机设备和存储介质,应用于客户端,客户端配置有数据导出管理页面,在接收到作用于数据导出管理页面的数据导出操作时,客户端生成包括服务器的IP地址和目标文件名称数据导出请求,并在数据导出管理页面加载数据导出列表,在将数据导出请求发送到IP地址指向的服务器后,服务器响应数据导出请求后导出文件名称为目标文件名称的目标数据,然后将目标数据发送给客户端,客户端接收目标数据后更新数据导出列表。本发明实施例的客户端提供数据导出管理页面,用户只需要在数据管理页面进行导出操作,即可自动导出目标数据,数据管理页面以导出列表形式可视化,操作简单,提高了用户导出数据的使用体验。
一种基于SIMHASH的文件相似度判定方法及系统
本申请实施例公开了一种基于SIMHASH的文件相似度判定方法及系统,所述方法包括:提取待判断文件的文件消息,写入kafka;相似判定处理引擎对所述文件消息进行tika解析,得到tika解析结果;Simhash引擎对tika解析结果进行simhash计算,得到待判断文本的simhash值;将待判断文件的simhash值与样本库中样本的simhash值进行比较,得到海明距离;判断海明距离是否大于0,若是,则基于设定相似度判断所述待判断文件是否相似,若相似,则将结果写入hbase数据库,在样本库中更新样本状态,所述样本状态包括涉密和非涉密。基于SIMHASH精准的进行文件相似度判断,大大减少了人工判定的成本,也提高了保密处置效率。
一种违规文件检测方法、装置及设备
本申请实施例公开了一种违规文件检测方法、装置及设备,通过将待检测文件划分为多个分片文件,利用分片文件和敏感片段之间的相关性确定第一目标分片文件、第一可达敏感片段和第二目标分片文件;利用与第一目标分片文件和第二分片文件相关联的敏感片段的敏感度阈值分别得到第一目标分片文件和第二目标分片文件的敏感度值,将第一目标分片文件和第二目标分片文件的敏感度值相加得到第一求和结果,基于第一求和结果确定待检测文件是否为违规文件。可以基于分片文件实现对待检测文件整体是否是违规文件的检测,能够对分布式存储的文件进行有效地违规检测,使得更为全面地检测违规文件,能够提高违规文件检测的准确性,得到有效并且准确的检测结果。
运行方法、数据读写方法、装置、电子设备和介质
本公开的实施例公开了运行方法、数据读写方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括:响应于监听到预先创建的多个槽位节点的子节点发生变化,获取预先创建的等待代理节点下包括的各个子节点的编号;响应于确定当前等待缓存代理对应的子节点的编号在各个子节点的编号中的排序位置满足预设条件,确定多个槽位节点中是否存在空槽位节点;响应于存在空槽位节点,在空槽位节点下创建子节点,将当前等待缓存代理的服务地址写入空槽位节点。该实施方式实现了多个等待缓存代理的有序加入。
文件分片存储、分片文件重组方法及装置、文件保护系统
本发明提供一种文件分片存储、分片文件重组方法及装置、文件保护系统。该文件分片存储方法包括:获取待分片文件和分片数量;其中,待分片文件包括多个字节;根据分片数量设置多个分片文件;根据各字节对应的随机数将各字节放入随机数对应的分片文件中进行存储。本发明可以安全保护文件,防止文件被恶意窃取后破译。
数据处理方法及装置
本说明书提供数据处理方法及装置,其中所述数据处理方法包括:接收目标业务关联的数据处理端提交的业务数据集合;针对所述业务数据集合中的各个业务数据添加数据标识,并将添加所述数据标识的业务数据写入所述目标业务的业务数据库;接收针对所述业务数据库中的业务数据提交的处理指令;基于所述处理指令和所述数据标识在所述业务数据库中读取目标业务数据,并将所述目标业务数据写入所述目标业务对应的分布式系统。
私有目录文件的导出方法、装置、电子设备和存储介质
本申请公开了一种私有目录文件的导出方法、装置、电子设备和存储介质。该方法应用于客户端,该方法包括:创建虚拟化运行环境;在所述虚拟化运行环境中运行目标应用;其中,在所述运行的过程中将所述目标应用对应的目标私有目录文件存储至所述客户端对应的内部私有目录下;基于预设函数从所述内部私有目录下的文件中导出所述目标私有目录文件;其中,所述预设函数指示针对所述内部私有目录下的文件的导出逻辑。这样可以在普通机器上导出目标应用的私有目录文件,借助客户端提高了私有目录文件导出的速度和通用性,从而保证了开发测试的效率。
一种数据导入方法、装置、设备及计算机可读存储介质
本发明公开了一种数据导入方法,该方法包括以下步骤:当接收到文件导入请求时,将待导入文件读取至链式阻塞队列中;从容器回收器中请求得到容器集合,将待导入文件中包含的数据从链式阻塞队列分条载入容器集合的各目标容器内;将每个目标容器作为一个导入任务进行数据导入操作;判断各导入任务是否均执行完成;若是,则利用容器回收器对各目标容器进行回收操作。应用本发明所提供的数据导入方法,较大地缩短了非导入工作产生的耗时,避免了对其他工作的影响。本发明还公开了一种数据导入装置、设备及存储介质,具有相应技术效果。
文件的存储转换处理方法、装置、电子设备及存储介质
本申请公开一种文件的存储转换处理方法、装置、电子设备及存储介质,对于数据文件的存储转换处理,本申请支持对文件进行标签标记,并支持基于标记的标签配置对文件的第一存储转换规则,使用者即用户可根据需求对数据文件进行标签标记并配置基于标签的第一存储转换规则,后端存储系统通过对用户配置的第一存储转换规则进行解析,并根据解析得到的规则内容,按照预定的规则执行策略对数据文件执行第一存储转换规则,即可实现自动化的、基于标签的文件存储转换处理。无需用户按人工方式对海量文件进行管理,且灵活的标签标记及基于标签的规则配置,更好地满足了用户日渐产生的多样化数据文件的多样化存储管理需求。
数据文件管理方法、系统及计算机可读存储介质
本发明公开了一种数据文件管理方法。所述数据文件管理方法包括:确定数据文件的操作系统来源;根据所述操作系统来源对所述数据文件进行标记,得到目标数据文件。同时,还公开了另一种数据文件管理方法,包括:获取目标数据文件;识别所述目标数据文件中的标记数据;根据所述标记数据确定目标数据文件对应的操作系统来源;根据所述操作系统来源对所述目标数据文件进行解码。本发明通过识别目标数据文件中的标记数据,确定所述目标数据的操作系统来源,再对应解码,避免了操作系统不兼容,乱码等情形。对应地,本发明还提供一种数据文件管理系统及一种计算机可读存储介质。