一种基于R-Multi-parameter PBSNLR模型的图像分类方法
技术领域
本发明涉及图像分类领域,具体涉及一种基于R-Multi-parameter PBSNLR模型的图像分类方法。
背景技术
感知机是一个常见机器学习模型,用于对输入的特征向量进行二元分类,输出一个判别结果。spiking神经网络的监督学习过程其实就是一个通过权重调整控制神经元在运行时间内只在期望点火时间发送脉冲,并在其他时间保持静默的任务。简单来看,该任务的实质就是一个区分在某一具体时刻神经元模型是否应该发送脉冲的二分类问题,这时,脉冲神经模型完全可以通过现有的感知机学习规则进行训练。PBSNLR就是典型的基于感知机的监督学习算法(模型),它先把脉冲序列的训练任务转换为了所有运行时刻点上的分类问题,然后以感知机的训练策略进行权重调节使神经元能够精准地发出期望的输出脉冲。PBSNLR(Perceptron Based Spiking Neuron Learning Rule,基于传统感知机学习规则的膜电压驱动算法)和感知机一样是一种高效地学习算法,并且学习的成功率也很高。但是,PBSNLR无法完成在线学习的任务,而且对训练样本数量有所要求,需要以大样本进行训练才能保证收敛效果。
发明内容
针对现有技术中的上述不足,本发明提供的一种基于R-Multi-parameter PBSNLR模型的图像分类方法相比于传统PBSNLR模型具有更好的学习效率、分类准确率和抗噪性能。
为了达到上述发明目的,本发明采用的技术方案为:
提供一种基于R-Multi-parameter PBSNLR模型的图像分类方法,其包括以下步骤:
S1、构建传统PBSNLR模型;
S2、修改传统PBSNLR模型的神经元权重调整规则,得到R-Multi-parameterPBSNLR模型;其中R-Multi-parameter PBSNLR模型的神经元权重调整规则为:
其中ωnew为调整后的神经元权重值;ωold为调整前的神经元权重值;β为学习率参数;ui(t)为神经元的膜电压;thr为点火阈值;t表示当前时刻;td表示目标点火时刻;表示距离目标点火时间较远的时间段,td(n)表示第n次目标点火时刻,td(n)+δ表示第n次目标点火后δ时长的时刻,td(n+1)-δ表示第n+1次目标点火前δ时长的时刻,为第n+1个距离目标点火时刻较远的时间段;表示距离目标点火时间较近的时间段,td(n)-δ表示第n次目标点火前δ时长的时刻,为第n个距离目标点火时刻较近的时间段;η1为常数且大于0,η1>η2>0;为为突触前神经元j的第f次脉冲的输出时间;εji(·)为核函数,用于计算神经元接收到的外部的输入电流对神经元膜电压的影响值;
S3、采用R-Multi-parameter PBSNLR模型进行图像分类。
进一步地,步骤S2中点火阈值thr为1,时长δ为5ms,常数η1为0.4mV,常数η2为0.1mV,学习率参数β为0.01。
进一步地,步骤S2中R-Multi-parameter PBSNLR模型的神经元权重初始值为[0,0.04]中的随机数。
本发明的有益效果为:本方法通过引入膜电压与阈值间的距离作为权重调节规则的动态参数,可以有效改变模型在训练过程中权重调整幅度唯一带来的问题,在能准确的学习到目标脉冲信号的基础上,相较于传统PBSNLR模型具有更高的学习效率;本方法同时采用分时间段的动态阈值策略,避免了在目标点火时刻附近的非目标点火时刻使用一个低于原阈值的新阈值进行训练,可能导致目标点火时刻的膜电压积累不足无法点火的缺陷,使得本方法具有更高的准确率,特别是在噪声环境下学习效率和准确率明显高于其余的膜电压驱动方法。
附图说明
图1为本发明的流程示意图;
图2为距离目标点火时间较远的时间段与距离目标点火时刻较近的时间段的示意图;
图3为验证过程中采用的初始权值的示意图;
图4为验证过程中本R-Multi-parameter PBSNLR模型训练完成后的权值;
图5为验证过程中R-Multi-parameter PBSNLR模型在学习时脉冲发送情况示意图;
图6为不同迭代次数下传统PBSNLR模型与本R-Multi-parameter PBSNLR模型的相关性曲线图;
图7为无噪声模式下对图片“6”进行编码后的脉冲发放图;
图8为无噪声模式下图片“6”的学习过程和最终学习到的10个序列与目标序列的相似度;
图9为各反转噪声级别下光学字符识别率对比示意图;
图10高斯抖动场景下光学字符识别率对比示意图。
具体实施方式
下面对本发明的具体实施方式进行描述,以便于本技术领域的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
如图1所示,该基于R-Multi-parameter PBSNLR模型的图像分类方法包括以下步骤:
S1、构建传统PBSNLR模型;
S2、修改传统PBSNLR模型的神经元权重调整规则,得到R-Multi-parameterPBSNLR模型;其中R-Multi-parameter PBSNLR模型的神经元权重调整规则为:
其中ωnew为调整后的神经元权重值;ωold为调整前的神经元权重值;β为学习率参数;ui(t)为神经元的膜电压;thr为点火阈值;t表示当前时刻;如图2所示,td表示目标点火时刻;表示距离目标点火时间较远的时间段,td(n)表示第n次目标点火时刻,td(n)+δ表示第n次目标点火后δ时长的时刻,td(n+1)-δ表示第n+1次目标点火前δ时长的时刻,为第n+1个距离目标点火时刻较远的时间段;表示距离目标点火时间较近的时间段,td(n)-δ表示第n次目标点火前δ时长的时刻,为第n个距离目标点火时刻较近的时间段;η1为常数且大于0,η1>η2>0;为为突触前神经元j的第f次脉冲的输出时间;εji(·)为核函数,用于计算神经元接收到的外部的输入电流对神经元膜电压的影响值;
S3、采用R-Multi-parameter PBSNLR模型进行图像分类。
在具体实施过程中,尽管现有的多种动态阈值算法中,都会将阈值设置到一个高于原定阈值的新阈值用于训练时,如果神经元膜电压在目标点火时刻低于原定阈值,可以在每次迭代过程中增大权值的修改幅度,提升算法的学习效率,更好的保证训练后的神经元在目标时刻的膜电压一定能高于阈值完成点火。这种上移阈值的方式能达到让膜电压在目标时刻一定能发送脉冲的目的,但是在精细时间步长的情况下,其点火时刻并不一定是目标点火td,其膜电压很有可能在td之前就已经等于了原定阈值从而激发出了脉冲信号。
本方法提出的神经元权重调整规则只有最后一种情况下样本是被正确分类的,此时无需进行权重调整。前三种都是样本被错误分类情况:1)如果神经元在目标点火时刻td膜电压未能达到阈值,即不能发射出脉冲信号,则正例样本被错误分类,此时应选用规则中的第一种方式去调整权重;2)如果神经元在非目标点火时刻(包括和两种时间段下的所有时刻点)膜电压达到了对应时刻点的动态阈值,即在该时刻点激发了一个脉冲信号,则负例样本被错误分类,则需要根据该时刻与下一个目标点火的距离从规则的第二种、第三种方式中去选定权重调整规则。在本方法中,因为在和时都使用的是低于原定阈值的新阈值去进行训练,所以在本方法的开始时,会有较多的负样本出现被错误分类的情况,但是这些误分类负样本会随着算法的训练不断的进行修正,直到其膜电压低于对应时刻的动态阈值为止。
在本发明的一个实施例中,为了验证本方法的性能,步骤S2中点火阈值thr为1,时长δ为5ms,常数η1为0.4mV,常数η2为0.1mV,学习率参数β为0.01;神经元权重初始值为[0,0.04]中的随机数。设定单脉冲的输入神经元400个作为前突触神经元。输入脉冲序列和目标脉冲序列分别按照频率p1=10Hz,p2=60Hz的泊松过程生成。步长为0.01。
通过图3、图4和图5可以看出,初始权重的取值情况与训练完成后的权值分布情况差异巨大,R-Multi-parameter PBSNLR模型通过对神经元间连接权重的调整,在训练后能准确的激发出目标脉冲序列,完成学习目标。
如图6所示,对PBSNLR和R-Multi-parameter PBSNLR模型不同迭代次数情况下模型的相关系数变化情况进行了对比,R-Multi-parameter PBSNLR模型相关性度量C在训练开始时处于一个较低的水平,随着学习过程的进行,R-Multi-parameter PBSNLR的不断上升,最终算法准确率取得了优异的表现。出现这种状况的原因是因为R-Multi-parameterPBSNLR对阈值进行了下拉操作,从而导致算法刚开始学习时会有大量的负样本被误分类,随着模型的不断训练,所有误分类的样本的膜电压都会达到新设阈值以下,从而使得本方法的准确性上升。而且R-Multi-parameter PBSNLR在权重调节过程中是根据当前时刻点膜电压与阈值间的关系去动态控制权重调整幅度的,所以在每一次迭代中对权重的调整更充分,可以在更少的迭代次数时就达到收敛。
为了验证本方法对图像分类的效果,以识别数字“6”为例,R-Multi-parameter-PBSNLR模型在无噪声模式下对图片“6”进行编码后的脉冲发放图如图7所示,无噪声模式下图片“6”的学习过程和最终学习到的10个序列与目标序列的相似度如图8所示。从图8中的柱状可以看出,字符类别为6的相似度最高,所以无噪声场景之下用R-Multi-parameterPBSNLR模型进行训练的脉冲神经网络能成功识别到数字“6”的图片。接下来将通过实验对反转噪声场景下的光学字符识别性能进行分析。
反转噪声即为从图像总共像素点中按照给定噪声比例随机抽取一定的像素点进行反转操作,从而使得像素点在编码时出现部分坐标0、1互换的效果的噪声干扰方式。在每次训练中,首先将每种字符图片在随机噪声水平[0,25%]情况下分别产生10张反转噪声图片,每个噪声水平下都有100张反转噪声图像作为模型训练样本,重复训练10次。在测试阶段,每个字符图片都分别在随机噪声率[0,25%]的情况下,针对每个噪声率都随机产生4张图片,即每个字符都会产生100张反转噪声图像,每个噪声水平下都有40张图像,以其作为测试集输入模型进行分类决策。以每个噪声水平下40张图片的分类准确率均值作为该噪声水平的最终准确率。经过测试后不同算法在不同反转噪声比例下对图片“6”的识别准确率的情况如下图9所示。
通过对比我们可以发现,当图片的反转噪音比例增加到一定量时,各个算法的识别准确率都出现了显著的下降,所以反转噪声对图像识别效果影响巨大。但是从图9中依然可以看出,在各反转噪声级别下,加入了动态阈值策略的R-Multi-parameter PBSNLR模型的识别准确率都取得了优于PBSNLR模型和Multi-parameter PBSNLR模型(在PBSNLR的基础上只将膜电压与阈值间的距离作为权重调节规则的动态参数的模型)的表现,证明了该算法在反转噪声模式中拥有强大的抗噪能力。
高斯扰动是指使用概率密度函数服从高斯分布(即正态分布)的一类噪声对图像脉冲序列随机进行干扰。这里的训练样本和测试样本的获得方式与上一节中的反转噪声模式采样方法相同,只是将反转扰动中的反转率转换成了高斯函数中的方差,因为高斯函数中是以方差来控制噪声多少的,本实验中方差的取值为[0.3,3]ms。同样以每个噪声水平下所有图片的分类准确率均值作为该噪声水平的最终准确率。经过测试后不同算法在不同反转噪声比例情况下对图片“6”的识别准确率对比情况如图10所示。
从图10中可以看出,随着噪声的加大,三个算法的识别准确率都出现了大幅度下滑。但在各高斯噪声级别下,R-Multi-parameter PBSNLR模型依然是识别准确率最高的,而Multi-parameter PBSNLR模型和PBSNLR模型的表现差距不大,对噪声都比较敏感。该实验再次证明了R-Multi-parameter PBSNLR模型在存在各级别的高斯噪声的情况下依然能相对取得较好的准确率,本方法的抗噪性能强于传统的脉冲神经网络监督学习算法PBSNLR和Multi-parameter PBSNLR算法,是一种鲁棒的新算法。
综上所述,本发明通过引入膜电压与阈值间的距离作为权重调节规则的动态参数,可以有效改变模型在训练过程中权重调整幅度唯一带来的问题,在能准确的学习到目标脉冲信号的基础上,相较于传统PBSNLR模型具有更高的学习效率;本方法同时采用分时间段的动态阈值策略,避免了在目标点火时刻附近的非目标点火时刻使用一个低于原阈值的新阈值进行训练,可能导致目标点火时刻的膜电压积累不足无法点火的缺陷,使得本方法具有更高的准确率,特别是在噪声环境下学习效率和准确率明显高于其余的膜电压驱动方法。
- 上一篇:石墨接头机器人自动装卡簧、装栓机
- 下一篇:语言模型预训练方法、装置