一种光缆资源数字化管理方法
技术领域
本发明涉及通信资源管理
技术领域
,具体涉及一种光缆资源数字化管理方法。背景技术
电力通信光纤信息在不同的系统中都有管理,但各类信息均以“烟囱”的形式孤岛存在,没有关联资源、资产、输电线路、光纤测试等信息完整光纤画像系统,需要到各个子系统中进行人工查询,然后通过人工的方式将信息串联起来。具体体现在:光纤配线业务信息的维护需要通过人工的方式一条条的录入到系统中。电力通信相关的各个系统存在信息的孤岛现象,目前通信资源相关信息都按照业务系统的特点保存在特定领域的系统中,系统之间少有交集,特别是针对光纤通信的,没有一个完整的可以完整串起业务信息系统。目前对于光纤通信资源的管理存在以下的问题:
(1)ODF信息维护不完整,实际的配线信息由维护单位以纸质图纸的形式保存和管理,没有在资源系统中统一录入和管理,或者资源系统中录入和管理的数据与纸质图纸独立管理,没有形成联动,实际配线信息和资源系统存在偏差;
(2)纤芯测试数据离散,均保存在测试仪表中,没有统一的数字化管理;
(3)光纤的资产和资源两份数据在不同的系统中管理,没有共享和关联;
(4)物理光纤没有进行数字化管理。
(5)没有形成光缆、输电线路、接续盒的完整物理空间路由。
因此需要将各个环节的数据数字化,进而形成完整的数字化光纤,为故障分析、仿真分析、数字孪生等应用提供数据基础,使得光纤资源信息得到有效的管理。
发明内容
本发明所要解决的技术问题是如何将各系统中的光缆资源信息进行关联进行数字化管理,目的在于提供一种光缆资源数字化管理方法,通过将光缆物理资源数字化、纤芯业务信息数字化和纤芯空间信息数字化,实现电力通信网资源数据、配线数据、光纤测试数据、输电线路数据的关联,从而对光缆资源进行数字化管理。
本发明通过下述技术方案实现:
一种光缆资源数字化管理方法,包括以下步骤:
步骤S1、从运维资料中获取纤芯配线信息的纸质资料图片,利用OCR技术识别出纸质资料图片中的纤芯配线信息;
步骤S2、将识别出的纤芯配线信息转化成结构化数据,将得到的结构化数据与资源系统中的纤芯业务数据和传输段数据进行关联,根据关联后的纤芯业务数据和传输段数据更新资源系统,完成运维资料与资源系统的关联,形成纤芯数字化业务信息;其中纤芯业务数据:包括纤芯所属光缆段名称、纤芯业务用途、纤芯数量和纤芯的起止站点名称;
步骤S3、从纤芯测试数据中获得光缆纤芯衰耗曲线数据,对光缆纤芯衰耗曲线数据中多条光纤的纤芯衰耗曲线数据进行分析,得到纤芯基本数据和接续盒数据;
步骤S4、收集各系统的待关联数据,待关联数据包括从GIS系统获取输电线路数据、接续盒的空间数据以及杆塔的空间数据,从资源系统中获取光纤资源数据,从纤芯测试数据中获取纤芯基本数据和接续盒数据;
步骤S5、根据各系统的待关联数据,利用机器学习的方法关联GIS系统、纤芯测试数据和资源系统,形成光缆完整物理路由的关联关系,根据光缆完整物理路由的关联关系,使用主题模型提取特征值,形成纤芯数字化空间信息;
步骤S6、将纤芯数字化业务信息和纤芯数字化空间信息进行合并,得到纤芯完整的数字化信息,完成运维资料、GIS系统、纤芯测试数据和资源系统之间的数据关联,根据完整的数字化纤芯信息对光缆资源进行数字化管理。
现有的电力通信资源中关于光纤的信息十分离散,在不同的系统中都存在,如果需要对光纤信息进行查询时,往往要到各子系统中进行人工查询,然后通过人工的方式将信息串联起来,耗时耗力,现有的电力通信相关的各个系统存在信息的孤岛现象,光纤通信资源相关信息都按照业务系统的特点保存在特定领域的系统中,系统之间少有交集,没有一个完整的可以完整串起业务的管理系统,因此,本发明通过将纤芯业务信息数字化,将数字化后的纤芯业务信息(配线数据)与资源系统进行绑定;通过分析光缆纤芯衰耗曲线数据实现光缆物理资源数字化,利用机器学习的方法将各个系统相关的数据进行关联,从而形成光缆完整物理路由的关联关系实现纤芯空间信息数字化,最后将纤芯数字化业务信息和纤芯数字化空间信息进行合并,实现对光缆资源进行数字化管理。通过上述过程将电力通信网光纤资源数据、光纤配线数据、光纤测试数据、输电线路(光缆路径路由)数据分别与资产数据中的光缆光纤数据绑定实现关联,由于资产系统中的资源数据为静态的纤芯数据包括纤芯出产型号和产家等固定的信息,因此直接将资产系统与资源系统进行绑定,当资源系统中的数据与其他数据实现关联时,即完成了资产系统与其他系统的关联,从而实现了包括纤芯资产数据在内的纤芯完整的数字化信息,实现了机器替代人工的工作,极大提高了工作效率,解决了过去依靠人工关联中存在的机械性、重复性、繁琐性问题。
进一步地,步骤S1中利用OCR技术识别出纸质资料图片中的纤芯配线信息的具体过程为:
步骤S11、对获取到的纸质资料图片进行切割,按照光缆来源划分纸质资料图片中的表格,使得每张纸质资料图片中的配线信息是同一个光缆的纤芯信息;
步骤S12、对切割后的纸质资料图片进行预处理,得到待检测的图片;
步骤S13、利用YOLO神经网络算法对待检测的图片进行目标检测、目标定位和特征点检测,分割出待检测图片中的所有表格区域,得到表格图片;
步骤S14、使用U-net算法对表格图片中的内容进行语义分割,识别读取表格图片中的单元格,并对读取出的表格图片进行锐化,获得单元格的坐标数据,最终获得表格图片中所有单元格的坐标数据;
步骤S15、根据ROI技术提取表格图片中的感兴趣区域数据,感兴趣区域数据包括区域内容、区域的坐标信息、区域中的单元格内容以及对应的单元格的坐标数据;
步骤S16、根据感兴趣区域数据对表格图片进行标记,得到多个标记的ROI区域,获取每个标记的ROI区域中的单元格;
步骤S17、将标记的ROI区域中的单元格输入到CNN图像识别模型中进行文字识别,得到纸质资料图片中表格记录的纤芯配线信息。
进一步地,步骤S12的具体过程为:
步骤S121、将切割后的纸质资料图片依次进行统一格式化、灰度化和二值化处理,得到待处理图片;
步骤S122、获得待处理图片中表格的轮廓边缘,根据表格的轮廓边缘获取表格轮廓的包围矩阵和倾斜角度;
步骤S123、将表格轮廓的倾斜角度输入图片方位检查模型中,判断表格轮廓的倾斜角度是否正常;
步骤S124、若步骤S123的判断结果为不正常,则将待处理图片根据正常的角度进行旋转矫正,得到正常倾斜角度的表格轮廓并执行步骤S125,若步骤S123的判断结果为正常则执行步骤S125;
步骤S125、抠出正常倾斜角度的表格轮廓内的图像区域,得到独立标识图像;
步骤S126、将独立标识图像进行图像增强处理,包括图像锐化、平滑和去噪处理,得到待检测的图片。
进一步地,步骤S16的具体过程为:
步骤S161、根据表格图片中的感兴趣区域数据,获取对应的表格模板,根据获取的表格模板获取对应的兴趣点模板;
步骤S162、获取表格图片中单元格四角的坐标数据,根据单元格四角的坐标数据判断表格图片与对应的兴趣点模板的缩放比例是否匹配;
步骤S163、若步骤S162的判断结果是不匹配,则将表格图片进行缩放,使得兴趣点模板的缩放比例和表格图片的比例匹配,接着执行步骤S164;若步骤S162的判断结果是匹配,则执行步骤S164;
步骤S164、当表格图片与兴趣点模板的缩放比例匹配时,根据兴趣点模板计算与表格图片中单元格匹配的ROI区域并进行标记,得到标记的ROI区域中的单元格。
进一步地,步骤S2中构化数据与资源系统中的纤芯业务数据进行关联的具体过程包括:
步骤S21、根据通信业务字典和n-gram算法对识别出的纸质资料图片中的纤芯配线信息进行文本纠错,得到待转化的纤芯配线信息;
步骤S22、根据获取的兴趣点模板利用待转化的纤芯配线信息构建业务纤芯对,并按照光缆段名称、纤芯对、业务配线信息和对端纤芯对的格式并按照表格的格式进行存储,最终生成纤芯配线信息的结构化数据;
步骤S23、根据生成的结构化数据获取纤芯配线信息所属的光缆段名称,根据光缆段名称从资源系统中获取与光缆段名称对应的纤芯业务数据,利用WMD算法对结构化数据和纤芯业务数据进行计算得到第一特征语料,利用Smooth Inverse Frequency算法对结构化数据和纤芯业务数据进行计算,得到第二特征语料;
步骤S24、将第一特征语料和第二特征语料和输入SVM支持向量机中,得到结构化数据和资源系统中的纤芯业务数据的关联关系的分布概率;
步骤S25、对关联关系的分布概率进行排序,取最大分布概率的关联关系,得到结构化数据和资源系统中的纤芯业务数据的关联,最终完成资源系统与运维资料中的纤芯业务数据的关联。
进一步地,步骤S2中结构化数据与资源系统中的传输段数据进行关联的具体过程为:
根据纤芯配线信息的结构化数据获取纤芯业务数据,组成纤芯业务数据集A,获取资源系统中的光缆段名称、及对应的光缆段和传输段的关系组成数据集B;
根据数据集A和数据集B中的光缆段名称,计算数据集A和B的支持度,获得纤芯配线信息和传输段的关联关系。
进一步地,步骤S3的具体过程为:
步骤S31、对多根光纤的衰耗曲线数据分别进行预处理,得到多个预处理后的数据;
步骤S32、对多个预处理后的数据进行叠加得到混合曲线S(l):
S(l)=d1(l)+d2(l)+…+dn(l)
Y=[y1(l),y2(l),…,yi(l)]
D=[d1(l),d2(l),…,di(l)]
其中,l表示光缆的长度,yi(l)表示第i个光纤在长度l处的衰耗值,di(l)表示对应的第i个光纤的衰耗值yi(l)预处理后的向量;
步骤S33、对混合曲线S(l)进行特征提取,提取的特征包括信号峰值、峰值的高度、信号平均值、信号峰值宽度、方差和均方根,用T表示提取到的特征集合,T=[t1,t2,...,tn];
步骤S34、对混合曲线S(l)中的每一个点进行数据标注,得到标注结果,其中,标注结果为1,表示是接续盒;标注结果是表示不是接续盒;
步骤S35、将混合曲线S(l)及其标注结果、特征集合T共同输入到离线训练分类模型中进行离线训练,训练后得到训练好的分类模型,所述离线训练分类模型为二分类器;
步骤S36、利用训练好的分类模型进行在线预测,根据分类模型输出标注结果为1的全部点,并输出点对应的距离lj,(j=1,2,...,m),lj为光缆的第j个接续盒的位置,m为全部点的个数;
步骤S37、根据lj和混合曲线S(l)计算出点j的衰耗值aj,根据lj和aj得到接续盒数据L和D,其中,
aj=f(lj,S(l))
L=[l1,l2,...,lm]
D=[a1,a2,...,am]
其中,f为算法函数,该算法函数包括衰耗数据差分和滤波过程,L表示的位置点,D表示光缆全部接续盒的衰耗值。
进一步地,步骤S4中待关联数据具体还包括以下数据:
杆塔的空间数据:包括杆塔对应的GIS坐标、名称、维护单位、输电线路名称、建设时间、是否有接续;
接续盒的空间数据:包括接续盒所属的杆塔及杆塔的名称;
纤芯测试数据:包括纤芯基本数据和接续盒数据,纤芯基本数据包括纤芯的起止站点名称、纤芯端到端总长度、波长、所属光缆型号、衰耗和事件点,事件点由数据对:(纤芯距离,衰耗)组成;接续盒数据包括接续盒位置及其衰耗;
光纤资源数据:包括光缆及光缆段名称、光缆型号、起止站点名称和关联输电线路、业务信息、用途等。
进一步地,步骤S5的具体过程为:
步骤S51、对待关联数据进行格式化处理,处理成符合特征提取算法的格式,得到特征提取数据;
步骤S52、根据不同的数据来源从特征提取数据中提取以下特征值:
杆塔特征值:包括杆塔对应的输电线路名称和GIS坐标;
纤芯测试特征值:包括纤芯的起止站点名称和所属的光缆型号;
资源特征值:包括光缆型号、起止站点名称和关联输电线路名称;
步骤S53、构建关联算法模型,所述算法模型包括WMD算法、Smooth InverseFrequency算法和SVM支持向量机组成,将提取的特征值输入到构建的关联算法模型中,最终获得杆塔和输电线路的关联关系、输电线路和光缆段的关联关系、光缆段和纤芯测试数据的关联关系及接续盒和光缆段的关联关系;
步骤S54、根据步骤S53得到的各关联关系,形成包含事件、杆塔、光缆和站点的关系数据向量,并将得到的关系数据向量进行格式化处理;
步骤S55、提取格式化处理后的关系数据向量的关系特征,得到关联数据特征;
步骤S56、将关联数据特征输入到步骤S53中构建的关联算法模型中,得到杆塔、光缆、接续盒的关联关系,获取纤芯测试数据中的事件点的纤芯距离和衰耗,光缆、杆塔以及杆塔对应的GIS坐标,根据关联后的杆塔、光缆、接续盒的关联信息,将GIS坐标、距离、衰耗作为计算判断依据,推算杆塔、接续盒的GIS坐标;
步骤S57、根据杆塔、接续盒的GIS坐标加上待关联数据的全部数据,将杆塔、光缆、输电线路、接续盒进行关联,从而拼接出光缆完整物理路由的关联关系。
本发明与现有技术相比,具有如下的优点和有益效果:
1、本发明一种光缆资源数字化管理方法,将光缆物理资源数字化、纤芯业务信息数字化和纤芯空间信息数字化,实现电力通信网资源数据、资产数据和配线数据、光纤测试数据、输电线路数据的关联,完成了各通信系统中的光纤数据的关联,实现了机器替代人工的工作,极大提高了工作效率,解决了过去依靠人工关联中存在的机械性、重复性、繁琐性问题;
2、本发明一种光缆资源数字化管理方法,综合利用多种文本相似性模型的优势,克服了传统的基于确定性关联规则的技术中存在的关联准确度不高的问题,既提高模型预测准确率,同时极大提高了工作效率,为海量数据的大数据分析提供了更加多维度、更大信息量的关联后数,为电力工业基础通信网络运行管理提供了智慧的技术支撑;
3、本发明一种光缆资源数字化管理方法,将运维资料中的纤芯配线信息与资源系统中的纤芯业务数据进行关联,完善光纤配线业务信息,实现光纤配线业务信息的全面维护。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定。在附图中:
图1为本发明整体流程框图示意图;
图2为纸质资料图片中的纤芯配线信息识别流程图;
图3为实施例中获取到的不同的纸质资料图片,其中,示例(1)和示例(2)表示获取到的两种不同的表格类型;示例(3)表示从表格中划分出的ROI单元格区域;
图4为基于OTDR测试的纤芯衰耗曲线数据。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施例和附图,对本发明作进一步的详细说明,本发明的示意性实施方式及其说明仅用于解释本发明,并不作为对本发明的限定。
在以下描述中,为了提供对本发明的透彻理解阐述了大量特定细节。然而,对于本领域普通技术人员显而易见的是:不必采用这些特定细节来实行本发明。在其他实例中,为了避免混淆本发明,未具体描述公知的结构、电路、材料或方法。
在整个说明书中,对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着:结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此,在整个说明书的各个地方出现的短语“一个实施例”、“实施例”、“一个示例”或“示例”不一定都指同一实施例或示例。此外,可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外,本领域普通技术人员应当理解,在此提供的示图都是为了说明的目的,并且示图不一定是按比例绘制的。这里使用的术语“和/或”包括一个或多个相关列出的项目的任何和所有组合。
在本发明的描述中,需要理解的是,术语“前”、“后”、“左”、“右”、“上”、“下”、“竖直”、“水平”、“高”、“低”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明保护范围的限制。
实施例1
如图1所示,本发明一种光缆资源数字化管理方法,通过将光缆物理资源数字化、纤芯业务信息数字化和纤芯空间信息数字化,实现对光缆资源进行数字化管理,具体包括以下步骤:
(1)纤芯业务信息数字化:
步骤S1、从运维资料中获取纤芯配线信息的纸质资料图片,利用OCR技术识别出纸质资料图片中的纤芯配线信息;
具体地,如图2所示,步骤S1中利用OCR技术识别出纸质资料图片中的纤芯配线信息的具体过程为:
步骤S11、对获取到的纸质资料图片进行切割,按照光缆来源划分纸质资料图片中的表格,使得每张纸质资料图片中的配线信息是同一个光缆的纤芯信息;
步骤S12、对切割后的纸质资料图片进行预处理,得到待检测的图片;
步骤S13、利用YOLO神经网络算法对待检测的图片进行目标检测、目标定位和特征点检测,分割出待检测图片中的所有表格区域,得到表格图片;
使用YOLO神经网络算法检测的过程:对输入的图片进行缩放,YOLO网络会把输入的图片分割成SxS个网格,如果图片中一个目标的中心点落在某个网格当中,那么对应的那个网格就负责预测这个目标的大小和类别;将待检测图片送入到卷积神经网络中进行预测;通过预测的结果进行置信度的阈值处理,得到最终的检测结果,本实施例中输出为表格图片。
步骤S14、使用U-net算法对表格图片中的内容进行语义分割,识别读取表格图片中的单元格,并对读取出的表格图片进行锐化,获得单元格的坐标数据,最终获得表格图片中所有单元格的坐标数据;
具体地,对于表格图片进行卷积和池化的数字化处理,接着检测出表格图片中表格的所有横竖线,最终获得表格的边界坐标;根据检测出的表格横竖线,定位每一个单元格,并记录每一个单元格的坐标。
步骤S15、根据ROI技术提取表格图片中的感兴趣区域数据,感兴趣区域数据包括区域内容、区域的坐标信息、区域中的单元格内容以及对应的单元格的坐标数据;感兴趣区域(ROI)是指在机器视觉、图像处理中,从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域,称为感兴趣区域;如图3中示例(3)所示,所划分的兴趣区域,作为数据转化结构数据的基本信息单元。
步骤S16、根据感兴趣区域数据对表格图片进行标记,得到多个标记的ROI区域,获取每个标记的ROI区域中的单元格;
步骤S17、将标记的ROI区域中的单元格输入到CNN图像识别模型中进行文字识别,得到纸质资料图片中表格记录的纤芯配线信息。
步骤S2、将识别出的纤芯配线信息转化成结构化数据,将得到的结构化数据与资源系统中的纤芯业务数据和传输段数据进行关联,根据关联后的纤芯业务数据和传输段数据更新资源系统,完成运维资料与资源系统的关联,形成纤芯数字化业务信息;其中纤芯业务数据:包括纤芯所属光缆段名称、纤芯业务用途、纤芯数量和纤芯的起止站点名称;
具体地,上述步骤S2中结构化数据与资源系统中的纤芯业务数据进行关联的过程包括:
步骤S21、根据通信业务字典和n-gram算法对识别出的纸质资料图片中的纤芯配线信息进行文本纠错,得到待转化的纤芯配线信息;利用n-gram算法的方法为:若文本中的句子为S={w1,w2,…,wn},那么可以转化成:
P(s)=P(w1,w2,...,wn)=P(w1)*P(w2|w1)*P(w3|w2,w1)*....*P(wn|wn-1,wn-2,...,w2,w1),其中,P(s)为语言模型,即用来计算一个句子合法概率的模型,wn表示组成句子的各个词语。
步骤S22、根据获取的兴趣点模板利用待转化的纤芯配线信息构建业务纤芯对,并按照光缆段名称、纤芯对、业务配线信息和对端纤芯对的格式并按照表格的格式进行存储,最终生成纤芯配线信息的结构化数据,结构化数据的存储格式如表1所示;
表1
光缆段名称
纤芯对
用途(业务)
对端纤芯对
Xxx光缆段
(B01,B02)
Xxx链路
(A1,A2)
步骤S23、构建关联算法模型,根据生成的结构化数据获取纤芯配线信息所属的光缆段名称,根据光缆段名称从资源系统中获取与光缆段名称对应的纤芯业务数据,将结构化数据和纤芯业务数据输入到算法模型中,所述算法模型包括WMD算法、Smooth InverseFrequency算法和SVM支持向量机组成,具体地,利用WMD算法对结构化数据和纤芯业务数据进行计算得到第一特征语料,利用Smooth Inverse Frequency算法对结构化数据和纤芯业务数据进行计算,得到第二特征语料;
步骤S24、将第一特征语料和第二特征语料和输入SVM支持向量机中,得到结构化数据和资源系统中的纤芯业务数据的关联关系的分布概率;
步骤S25、对关联关系的分布概率进行排序,取最大分布概率的关联关系,得到结构化数据和资源系统中的纤芯业务数据的关联,最终完成资源系统与运维资料中的纤芯业务数据的关联。
具体的,上述步骤S2中结构化数据与资源系统中的传输段数据进行关联的具体过程为:
根据纤芯配线信息的结构化数据获取纤芯业务数据,包括纤芯的业务用途名称、起止站点名称,组成纤芯业务数据集A,获取资源系统中的光缆段名称、及对应的光缆段和传输段的关系组成数据集B;
根据数据集A和数据集B中的光缆段名称,计算数据集A和B的支持度,获得纤芯配线信息和传输段的关联关系。
其中,利用图像技术对步骤S12中的图片进行预处理,包括图片倾斜、模糊不清、曝光不足、表格倾斜等问题进行处理,具体过程为:
步骤S121、将切割后的纸质资料图片依次进行统一格式化将图片大小统一为512*512的图片,灰度化图片和二值化处理,转换成更适合人或机器分析处理的形式,得到待处理图片;
步骤S122、获得待处理图片中表格的轮廓边缘,根据表格的轮廓边缘获取表格轮廓的包围矩阵和倾斜角度;
步骤S123、将表格轮廓的倾斜角度输入图片方位检查模型中,判断表格轮廓的倾斜角度是否正常;
步骤S124、若步骤S123的判断结果为不正常,则将待处理图片根据正常的角度进行旋转矫正,得到正常倾斜角度的表格轮廓并执行步骤S125,若步骤S123的判断结果为正常则执行步骤S125;
步骤S125、抠出正常倾斜角度的表格轮廓内的图像区域,得到独立标识图像;
步骤S126、将独立标识图像进行图像增强处理,包括图像锐化、平滑和去噪处理,得到待检测的图片;图片增强是为了抑制无用信息,提高图像的使用价值;本实施例中图片增强方法为利用空间域处理及其变换,使用低频滤波去除噪声,使用高频滤波增强信号,使图片清晰:
其中,x,y是像素在图片中的位置/坐标;k,l是卷积核中的位置/坐标,中心点的坐标是(0,0);f(k,l)是卷积核中在(k,l)上的权重参数;I(x+k,y+l)是与f(k,l)相对应的图片像素值;h(x,y)是图片中(x,y)像素的滤波/卷积结果。
具体地,上述步骤S16中标记ROI区域的具体过程为:
步骤S161、根据表格图片中的感兴趣区域数据,获取对应的表格模板,根据获取的表格模板获取对应的兴趣点模板;由于各个地区的配线信息表格不一致,如图3中提供的示例(1)和示例(2)的不同纸质资料图片,使用的Excel模板不同,因此在提取ROI区域时需要根据各个地区的特点建立兴趣点模板,其中兴趣点模板定义了需要转化的格式,定义了目标区域的具体含义;
步骤S162、获取表格图片中单元格四角的坐标数据,根据单元格四角的坐标数据判断表格图片与对应的兴趣点模板的缩放比例是否匹配;
步骤S163、若步骤S162的判断结果是不匹配,则将表格图片进行缩放,使得兴趣点模板的缩放比例和表格图片的比例匹配,接着执行步骤S164;若步骤S162的判断结果是匹配,则执行步骤S164;
步骤S164、当表格图片与兴趣点模板的缩放比例匹配时,根据兴趣点模板计算与表格图片中单元格匹配的ROI区域并进行标记,得到标记的ROI区域中的单元格。
(2)光缆物理资源数字化:光缆光纤端到端主要有起点站、接续点、终点站等关键点,其物理资源数字化主要关注相应点的位置及其衰耗信息、总衰耗、总长度等数据;光缆物理资源数字化,主要对光缆纤芯衰耗曲线数据进行分析,得到光缆全程长度、总衰耗、平均衰耗等基本数据,再进一步对衰耗曲线进行基于人工智能的分析得到接续盒位置及其衰耗,具体过程为:
步骤S3、从纤芯测试数据中获得光缆纤芯衰耗曲线数据,对光缆纤芯衰耗曲线数据中多条光纤的纤芯衰耗曲线数据进行分析,得到纤芯基本数据和接续盒数据;
具体地,分析过程为:
步骤S31、对多根光纤的衰耗曲线数据分别进行预处理,得到多个预处理后的数据;
步骤S32、对多个预处理后的数据进行叠加得到混合曲线S(l):
S(l)=d1(l)+d2(l)+…+dn(l)
Y=[y1(l),y2(l),…,yi(l)]
D=[d1(l),d2(l),…,di(l)]
其中,l表示光缆的长度,yi(l)表示第i个光纤在长度l处的衰耗值,di(l)表示对应的第i个光纤的衰耗值yi(l)预处理后的向量;
步骤S33、对混合曲线S(l)进行特征提取,提取的特征包括信号峰值、峰值的高度、信号平均值、信号峰值宽度、方差和均方根等,用T表示提取到的特征集合,T=[t1,t2,...,tn];
步骤S34、对混合曲线S(l)中的每一个点进行数据标注,得到标注结果,其中,标注结果为1,表示是接续盒;标注结果是表示不是接续盒;
步骤S35、将混合曲线S(l)及其标注结果、特征集合T共同输入到离线训练分类模型中进行离线训练,训练后得到训练好的分类模型,所述离线训练分类模型为二分类器,可用随机森林分类法、决策树分类法、梯度增压等不同的二分类方法;
步骤S36、利用训练好的分类模型进行在线预测,根据分类模型输出标注结果为1的全部点,并输出点对应的距离lj,(j=1,2,...,m),lj为光缆的第j个接续盒的位置,m为全部点的个数;
步骤S37、根据lj和混合曲线S(l)计算出点j的衰耗值aj,根据lj和aj得到接续盒数据L和D,其中,
aj=f(lj,S(l))
L=[l1,l2,...,lm]
D=[a1,a2,...,am]
其中,f为算法函数,该算法函数包括衰耗数据差分和滤波过程,L表示的位置点,D表示光缆全部接续盒的衰耗值。
(3)纤芯空间信息数字化:
步骤S4、收集各系统的待关联数据,待关联数据包括从GIS系统获取输电线路数据、接续盒的空间数据以及杆塔的空间数据,从资源系统中获取光纤资源数据,从纤芯测试数据中获取纤芯基本数据和接续盒数据;待关联数据具体包括以下数据:
杆塔的空间数据:包括杆塔对应的GIS坐标、名称、维护单位、输电线路名称、建设时间、是否有接续;
接续盒的空间数据:包括接续盒所属的杆塔及杆塔的名称;
纤芯测试数据:包括纤芯基本数据和接续盒数据,纤芯基本数据包括纤芯的起止站点名称、纤芯端到端总长度、波长、所属光缆型号、衰耗和事件点,事件点由数据对:(纤芯距离,衰耗)组成;接续盒数据包括接续盒位置及其衰耗;
光纤资源数据:包括光缆及光缆段名称、光缆型号、起止站点名称和关联输电线路、业务信息、用途等。
步骤S5、根据各系统的待关联数据,利用机器学习的方法关联GIS系统、纤芯测试数据和资源系统,形成光缆完整物理路由的关联关系,根据光缆完整物理路由的关联关系,使用主题模型提取特征值,形成纤芯数字化空间信息;
具体地,步骤S5的具体过程为:
步骤S51、对待关联数据进行格式化处理,处理成符合特征提取算法的格式,例如:xxx杆塔/名称/输电线路,得到特征提取数据;
步骤S52、根据不同的数据来源对上述步骤S51中得到的数据提取以下特征值:
杆塔特征值:包括杆塔对应的输电线路名称和GIS坐标;
纤芯测试特征值:包括纤芯的起止站点名称和所属的光缆型号;
资源特征值:包括光缆型号、起止站点名称和关联输电线路名称;
步骤S53、构建关联算法模型,所述算法模型包括WMD算法、Smooth InverseFrequency算法和SVM支持向量机组成,将提取的特征值输入到构建的关联算法模型中,具体地,分别利用WMD算法和Smooth Inverse Frequency算法对各特征值两两进行计算,将计算结果输入到SVM支持向量机中,最终获得杆塔和输电线路的关联关系、输电线路和光缆段的关联关系、光缆段和纤芯测试数据的关联关系及光纤测试数据的接续盒和光缆段的关联关系;杆塔和输电线路形成的关联关系与资源系统中的关联输电线路名称对应,则通过上述各数据之间的关联关系,完成资源系统和GIS系统的关联、资源系统和纤芯测试数据的关联和GIS系统和纤芯测数据的关联;
例如GIS系统的杆塔数据和输电线路数据的关联过程为:
A1、输入杆塔对应的输电线路名称和输电线路名称,通过WMD算法得到第一特征语料;
A2、输入杆塔对应的输电线路名称和输电线路名称,通过Smooth InverseFrequency算法得到第二特征语料;具体过程为:
A21:抽取所需的特征文本信息,这里是输电线路名称;
A22:通过聚合将特征文本信息合并成一个文本信息;
A23:然后将文本信息中的词句进行拆分,获得到拆分后的语句;
A24:通过拆分后的语句,计算语句的相似度,得到相似矩阵;
A25:将相似矩阵存为图的形式,语句是点,相似度是边;
A26:通过矩阵运算获得相似度高的语句作为第二特征语料。
A3、将上述得到的第一特征语料和第二特征语料输入到SVM(支持向量机)中得到杆塔和输电线路的关联关系。
同理,按照上述步骤A1-A3,获取输电线路和光缆段的概率分布;获得光缆段和光纤测试数据的关系;接续盒和光缆段的关系。
步骤S54、根据步骤S53得到的各关联关系,形成包含事件、杆塔、光缆和站点的关系数据向量,并将得到的关系数据向量进行格式化处理;
步骤S55、提取格式化处理后的关系数据向量的关系特征,得到关联数据特征;
步骤S56、将关联数据特征输入到步骤S53中构建的关联算法模型中,得到杆塔、光缆、接续盒的关联关系,具体地,分别利用WMD算法和Smooth Inverse Frequency算法对关联数据特征进行计算,将计算结果输入到SVM支持向量机中,得到杆塔、光缆、接续盒的关联关系,获取纤芯测试数据中的事件点的纤芯距离和衰耗,光缆、杆塔以及杆塔对应的GIS坐标,根据关联后的杆塔、光缆、接续盒的关联信息,将GIS坐标、距离、衰耗作为计算判断依据,推算杆塔、接续盒的GIS坐标;
步骤S57、根据杆塔、接续盒的GIS坐标加上待关联数据的全部数据,将杆塔、光缆、输电线路、接续盒进行关联,从而拼接出光缆完整物理路由的关联关系。
步骤S6、将纤芯数字化业务信息和纤芯数字化空间信息进行合并,得到纤芯完整的数字化信息,完成运维资料、GIS系统、纤芯测试数据和资源系统之间的数据关联,根据完整的数字化纤芯信息对光缆资源进行数字化管理。
另外,由于资产系统中的资源数据为静态的纤芯数据包括纤芯出产型号和产家等固定的信息,资源系统和资产相关数据直接进行绑定,结合以上生成的完整的数字化纤芯信息,同时结合运维系统中的工单、缺陷、检修等形成完整的光纤资源全生命周期管理系统。基于光纤资源的全生命周期管理系统,可以为业务系统的高级业务应用提供基础数据依据,可以实现以下高级应用:
1、N-x分析:提高了N-x分析的分析能力,可以提供更细维度的分析,不限于光缆段和设备,也可以将接续盒、杆塔等纳入分析结果;
2、光纤传输仿真:基于全生命周期的数据,包括通过对光纤衰耗、光纤非线性等参数的带入,从而可以对新建光纤提供仿真的能力,为投资建设提供决策的依据,同时也可以为运维提供风险点仿真测试;
3、资产投资分析:基于管理上已经将光纤相关的资源都管理起来了,通过分析光纤的使用年限、损坏、分布情况确定是否对光纤进行投资建设提供决策依据;
4、网络风险分析:基于全生命周期的数据,实现对光纤通信网络进行风险评估,预估可能存在的风险点、并提供相应的预案,以提高电力通信网络的可靠性。
为了更好的说明本发明的有益效果,如图4所示,图4(a)表示典型的光纤测试数据(曲线),图4(b)为应用人工智能对光纤物理信息数字化的准确率与不同迭代次数的关系曲线,对应三种不同的分类方法(随机森林分类法、决策树分类法、梯度增压分类方法)。此处的准确率是指通过不同算法,识别出的光纤接续盒信息与实际情况相符的概率;当应用随机森林分类法、决策树分类法或者梯度增压分类方法时,通过200次迭代后均获得了不错的准确率,其中单根纤芯数据的随机森林分类法、梯度增压分类法200次迭代后准确率达95%。应用10根纤芯数据的叠加后,经过200次迭代,输出结果达100%。将光缆物理资源数字化后的结果,作为光缆空间资源数字化的输入信息,叠加电力系统输电线路的坐标信息,可以精准定位到光缆每一个接续盒的地理位置,为光缆抢修和故障定位提供了精准的时空数据。
以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。