基于有界β(g,h)分布和MWKPCA的可听噪声无效数据判定方法
技术领域
本发明涉及输电线路可听噪声评估
技术领域
，具体涉及一种基于有界β(g,h)分布和MWKPCA的可听噪声无效数据判定方法。背景技术
输电线路可听噪声作为输电线路的设计标准之一，影响着输电线路的导线选型、走廊宽度、绝缘子串长和导线排列方式。但是在收集输电线路可听噪声的过程中，存在大量的背景噪声，极易受到背景噪声的干扰，如果输电线路可听噪声小于背景噪声，那么背景噪声大概率会成为数据集中的无效数据或异常值，即无效数据。无效数据会对输电线路的评估造成影响。
现有输电线路可听噪声的研究类型分为交流输电线路和直流输电线路的研究，其中，交流输电线路可听噪声可分为频率是工频50Hz倍数的纯声和频率范围集中在400Hz～10kHz的宽频带噪声，无论是“纯声”还是宽屏噪声都是由于交变电场作用下，正极性区间正离子沿径向向外运动，对空气层施加压力，负极性区间由电子附着于分子而形成的负离子沿径向向外运动，对空气层施加压力，从而周期性的向外传播的声波。
现有输电线路可听噪声有效数据研究方式，包括通过经验公式与机器学习算法将声音的8kHz分量转换为A声级从而间接的得到输电线路可听噪声有效数据；以及通过小波分解、有限长单位冲击响应滤波器对收集到的声音信号中的背景噪声进行剔除，直接得到输电线路可听噪声有效数据。
上述剔除背景噪声的方法，都是直接对收集到的声音信号进行处理，大多数情况下是对数据集中的无效数据进行处理，并没有考虑到在某一个采样时刻采集到的声音信号是由属于不同频段的噪声共同作用的结果，且背景噪声声源发出的声音处在不同频率，因此亟需可以在进行无效数据判定的同时考虑各个频段噪声的方法。
发明内容
为解决上述技术问题，本发明提供一种基于有界β(g,h)分布和MWKPCA的可听噪声无效数据判定方法，利用有界β(g,h)分布依次进行倍频程的16Hz～8kHz共10个可听噪声分量无效数据的判定；同时利用MWKPCA方法对倍频程的16Hz至8kHz共10个频段的可听噪声进行整体性的无效数据判定。相较传统的单维数据进行无效数据判定，本发明判定方法的判定标准更为全面，同时以移动窗的形式对数据进行切分，减少气象因素的改变对判定结果的影响。
本发明采取的技术方案为：
基于有界β(g,h)分布和MWKPCA的可听噪声无效数据判定方法，包括以下步骤：
步骤1：通过有界β(g,h)分布，对收集到的可听噪声数据进行无效数据判定，将处于有界β(g,h)分布判定标准范围外的无效数据进行剔除；
步骤2：对于步骤1处理后的可听噪声数据，将各个频段的可听噪声分量作为一个整体，使用MWKPCA主元子空间的T2统计量和残差子空间的SPE统计量，对可听噪声数据集中的无效数据进行判定；
步骤3：对未进行无效数据剔除的数据集、有界β(g,h)分布进行无效数据剔除的数据集、MWKPCA进行无效数据剔除的数据集，分别求取L95,L50,L5百分位数，确定百分位数在数据处理前后变化情况，从而确定无效数据的剔除，是否对后续的可听噪声数据分析造成影响。
所述步骤1中，将收集到的可听噪声数据分解为16Hz，31.5Hz，63Hz，125Hz，250Hz，500Hz，1000Hz，2000Hz，4000Hz，8000Hz，共10个可听噪声分量，作为异常数据剔除的数据集，对各个频段的可听噪声数据使用有界β(g,h)分布，逐日的剔除各个频段数据的无效数据。
所述步骤1中，可听噪声数据为交流输电线路可听噪声数据，分解出的16Hz～8kHz共10个频段的可听噪声分量，是以倍频程的形式划分的。
所述步骤2中，以移动窗的形式对可听噪声数据集中的无效数据进行判定，移动窗的形式是：以采集数据时，每日输电线路可听噪声数据量作为移动窗函数的移动步长。
所述步骤3中，L95,L50,L5百分位数，是指将数据由大到小排列时排在前95％位置，前50％位置，前5％位置的数值。
本发明一种基于有界β(g,h)分布和MWKPCA的可听噪声无效数据判定方法，技术效果如下：
1)、本发明通过有界β(g,h)分布，依次对各个频段的无效数据进行剔除时，该方法不仅有不错的运行速度和准确性，同时使用该方法进行无效数据的判定不需要数据符合正态分布，具有较广的实用性，并且在MWKPCA之前使用有界β(g,h)分布进行无效数据的剔除，可以使后续的MWKPCA获得更为准确的训练数据。
2)、本发明使用MWKPCA在对数据集中的无效数据进行判定时，无论数据集中各个特征之间是线性关系还是非线性关系，都对异常数据的剔除具有较好的效果。且对于输电线路可听噪声采集时间跨度较长，气象因素变化较大，使用移动窗的形式可以在逐日的异常数据判定过程中逐步的更新判定标准，防止气象因素的改变对判定结果造成负面影响。
3)、本发明方法分别对未进行无效数据剔除数据，使用有界β(g,h)分布剔除异常数据后，使用MWKPCA剔除异常数据后的三个阶段的数据集，其L5，L50，L95百分位数进行比较，确定无效数据的剔除对后续数据分析不造成影响。并且该方法对无效数据进行剔除之后使用LightGBM算法利用可听噪声8000Hz分量与气象因素对输电线路可听噪声A声级的预测发现预测结果精度有提升，使用本发明方法对数据集进行无效数据剔除之后，预测结果的RMSE误差从3.20降到了2.68，MAE误差从2.17降到了1.85。
4)、本发明在检测手段上进行创新，采用逐日判定的方法，降低了人工进行判定时的重复工作和判定标准不统一的问题。利用有界β(g,h)分布依次进行倍频程的16Hz～8kHz共10个可听噪声分量无效数据的判定，解决了传统无效数据判定方法要求数据必须服从正态分布的问题。利用MWKPCA对倍频程的16Hz至8kHz共10个频段的可听噪声进行整体性的无效数据判定，相较传统的单维数据进行无效数据判定，本发明判定标准更为全面，同时以移动窗的形式对数据进行切分减少气象因素的改变对判定结果的影响，为输电线路可听噪声有效数据的提取提供了一条新的途径。
附图说明
图1为本发明提出的输电线路噪声无效数据图一；
图2为本发明提出的输电线路噪声无效数据图二。
图3为本发明提出的有界β(g,h)分布剔除异常数据效果图一；
图4为本发明提出的有界β(g,h)分布剔除异常数据效果图二。
图5为本发明提出的MWKPCA方法的T2统计量可听噪声有效数据判定图。
图6为本发明提出的MWKPCA方法的SPE统计量可听噪声有效数据判定图。
具体实施方式
基于有界β(g,h)分布和MWKPCA的可听噪声无效数据判定方法，包括以下步骤：
步骤1：通过有界β(g,h)分布，逐日的对收集到的可听噪声数据进行无效数据判定，将处于有界β(g,h)分布判定标准范围外的无效数据进行剔除；无效数据也称呼为“离群点”。
步骤2：对于步骤1处理后的可听噪声数据，将各个频段的可听噪声分量作为一个整体，使用MWKPCA主元子空间的T2统计量和残差子空间的SPE统计量，以移动窗的形式对可听噪声数据集中的无效数据进行判定；
步骤3：对未进行无效数据剔除的数据集、有界β(g,h)分布进行无效数据剔除的数据集、MWKPCA进行无效数据剔除的数据集，分别求取L95,L50,L5百分位数，确定百分位数在数据处理前后变化情况，从而确定无效数据的剔除，是否对后续的可听噪声数据分析造成影响。
有界β(g,h)分布参照现有技术中文献[1]、文献[2]、文献[3]中的描述：
文献[1]：林洪桦.再荐误差的β分布统示法[J].中国计量学院学报,2004(02):10-15.文献[2]：林洪桦,潘峰.重复测量数据β分布的自助法估计[J].北京理工大学学报,2004(11):947-951.
文献[3]：谢辉春,崔翔,邬雄，等.1000kV特高压交流单回输电线路好天气下无线电干扰的统计分析[J].中国电机工程学报,2016,36(03):861-870.
有界β(g,h)分布是一种表示数据分布规律的方法，利用β(g,h)的多态性，对待检测数据集的(g,h)参数进行估计，进一步通过如下过程得到数据的分布区间进而剔除无效数据。
其中，表示u的均值，表示u的方差，为样本的均值，σ为样本的标准差。
MWKPCA即为移动窗核主成分分析，MW(Moving Window)移动窗，移动窗为对数据集进行切分的一种方式，本发明中的移动窗是以每天的单位对数据进行切分，然后以天为单位通过时间先后顺序对数据进行分析。KPCA(Kernal Principal Component Analysis)核主成分分析通过核函数将本发明中每日的待检测数据映射到高维特征空间，在高维特征空间中将数据进行中心化，然后求取数据矩阵的特征向量与特征值，从而进一步计算主元子空间中的主元子空间的T2统计量和T2统计量阈值以及残差子空间的SPE统计量和残差子空间的SPE统计量阈值。
MWKPCA参照现有技术中文献[4]、文献[5]、文献[6]中的描述：
文献[4]：朱雄卓,张瀚文,杨春节.基于高斯混合模型的MWPCA高炉异常监测算法[J].化工学报,2021,72(03):1539-1548.
文献[5]：李振华,李春燕,张竹.基于Q-ARMA的电子式电压互感器误差状态预测[J].中国科学:技术科学,2018,48(12):1401-1412.
文献[6]：Zhang Zhu,Chen Qin,Hu Chen,et al.Evaluating the meteringerror of electronic transformers on-line based on VN-MWPCA[J].Measurement,2018,130:1-7.
训练数据：选取每一个噪声分量都处于数据量最大的几个取值区间的n组数据作为初始训练数据，在逐日进行无效数据判定的过程中对训练数据进行更新，将当日判定为正常的数据加入训练数据，并且从之前的训练数据中剔除出相应组数的数据，从而组成下一日的训练数据。
无效数据：本发明中的无效数据分为两部分：第一部分为单维数据中的无效数据，即某时间段中数值远大于或者远小于该段数据平均值的点。第二部分为多维数据中的无效数据，即某时间段内多维数据所在的多维空间中距离数据集群中心距离较远的点。无论是单维数据中的无效数据，还是多维数据中的无效数据大多来源于记录、计算中的失误或者是试验方法和试验环境的偶然变化产生。会对后续的研究准确性带来影响。
本发明中逐日是指：将数据以天为单位进行切分，在无效数据判定过程中，以天为单位的对无效数据进行判定。
所述步骤1中，将收集到的可听噪声数据分解为16Hz，31.5Hz，63Hz，125Hz，250Hz，500Hz，1000Hz，2000Hz，4000Hz，8000Hz，共10个可听噪声分量，作为异常数据剔除的数据集，对各个频段的可听噪声数据使用有界β(g,h)分布，逐日的剔除各个频段数据的无效数据。
所述步骤1中，可听噪声数据为交流输电线路可听噪声数据，分解出的16Hz～8kHz共10个频段的可听噪声分量，是以倍频程的形式划分的。
所述步骤2中，以移动窗的形式对可听噪声数据集中的无效数据进行判定，移动窗的形式是：以采集数据时，每日输电线路可听噪声数据量作为移动窗函数的移动步长。
所述步骤2中，可听噪声各个频段为倍频程，频率中心包括：16Hz，31.5Hz，63Hz，125Hz，250Hz，500Hz，1000Hz，2000Hz，4000Hz，8000Hz。
T2统计量，SPE统计量共包含四个部分分别是：T2统计阈值、SPE统计值阈值，每个采样点的T2统计值和每个采样点的SPE统计值；对超过T2统计阈值或超过SPE统计值阈值的数据进行剔除。其中：
T2统计量阈值由每日数据的训练数据求得，T2统计值由每日数据的测试数据求得；
SPE统计量阈值由每日数据的训练数据求得，SPE统计值由每日数据的测试数据求得。
所述步骤3中，L95,L50,L5百分位数，是指将数据由大到小排列时排在前95％位置，前50％位置，前5％位置的数值。
验证实施例：
为进一步对基于有界β(g,h)分布和MWKPCA的输电线路可听噪声无效数据判定进行分析，对2015年9月25日～2016年2月16日夜间(0点～6点)收集到的1000kV交流输电线路噪声数据进行无效数据剔除。
先使用有界β(g,h)分布，依次对16Hz至8kHz共10个频段的输电线路可听噪声无效数据进行逐日剔除，然后将16Hz至8kHz共10个频段的输电线路可听噪声当成一个整体，利用MWKPCA对整体性的无效数据进行判定，分别求取未进行无效数据剔除的数据集，使用有界β(g,h)分布进行无效数据剔除的数据集，使用MWKPCA进行无效数据剔除的数据集，这三个阶段数据集的L95,L50,L5百分位数，判断本发明使用的无效数据的剔除方法是否会影响后续输电线路可听噪声无效数据的剔除，结果证明：本发明方法在剔除无效数据的基础上，不会对后续输电线路可听噪的数据分析造成干扰。
图1为2015年10月30日A声级数据的走势图。
图2为2015年11月1日A声级数据的走势图。
图1、图2中的虚线黑圈表示的是2015年10月30日和2015年11月1日1000kV交流输电线路A声级可听噪声数据无效解释的无效数据。
图3为使用本发明所提出的逐日使用有界β(g,h)分布进行无效数据剔除后2015年10月30日A声级数据的走势图。
图4为使用本发明所提出的逐日使用有界β(g,h)分布进行无效数据剔除后2015年11月1日A声级数据的走势图。
对比传统的无效数据剔除方法需要数据集服从正态分布，本发明使用的有界β(g,h)分布无需数据集服从正态分布同样可以对数据集中的无效数据进行判定。
图5为使用本发明所提出的MWKPCA主元子空间的T2统计量对16Hz至8kHz共10个频段的输电线路可听噪声整体性无效数据进行判定的判定结果。
图6为使用本发明所提出的MWKPCA残差子空间的SPE统计量对16Hz至8kHz共10个频段的输电线路可听噪声整体性无效数据进行判定的判定结果。
表1为未进行无效数据剔除的数据集、使用有界β(g,h)分布进行无效数据剔除的数据集、使用MWKPCA进行无效数据剔除的数据集三个阶段数据集的L95,L50,L5百分位数。
表1原始数据集、有界β(g,h)分布剔除异常数据、MWKPCA剔除异常数据三个阶段各频段噪声百分位数
通过对三个阶段的L95,L50,L5百分位数的对比发现，各个频段可听噪数据在三个无效数据剔除阶段的百分位数差值均不超多2dB，故本发明提出的输电线路可听噪声无效数据判定方法对后续的数据分析无影响。
- 上一篇：石墨接头机器人自动装卡簧、装栓机
- 下一篇：指纹检测及参数调节装置、方法及终端设备
