一种基于非熔融态相变器件的多级联想记忆电路

文档序号:8721 发布日期:2021-09-17 浏览:108次 英文

一种基于非熔融态相变器件的多级联想记忆电路

技术领域

本发明属于人工神经网络领域,更具体地,涉及一种基于非熔融态相变器件的多级联想记忆电路。

背景技术

联想记忆是生物学习并记忆非相关事物之间的联系的能力,是人类及各种生物日常生活中学习新信息的重要方式。在生物学方面,神经突触的可塑性是联想记忆的实现基础。不相关的刺激信号以一定方式多次输入神经网络后,会在它们之间形成新的高强度连接,即某种学习法则下连接的突触权重增强。大部分传统人工神经网络为了完成联想记忆功能,利用数十个运算放大器、晶体管等元器件来实现电子神经元和电子突触,电路结构过于复杂,不利于实现超大规模集成电路。

忆阻器的阻值可以被作用在其上的电刺激连续调制,被认为是天然的人造突触。此外,忆阻器具有面积小、功耗低、操作速度快、阻值非易失等优点,因此被广泛研究用在人工神经网络中,以模拟电子神经元、电子突触等。目前已有许多研究使用忆阻器网络来实现联想记忆,尤其是以巴浦洛夫的狗的实验为典型,人们设计了许多电路结构来实现经典的条件反射。然而,由于缺少一些特定的调节功能,一部分电路无法完成原实验的多种情况,包括联想的获取和消退;而实现完整功能的网络结构的电路实现过于复杂,需要较多的额外控制模块,带来额外的延迟和功耗。在巴浦洛夫进行的条件反射生物实验中,还存在二级条件反射的学习形式。这种学习形式中,生物经过第一次联想学习记忆了某种条件刺激,再以这个条件刺激为基础进行第二次学习达成对第二种条件刺激的联想记忆。二级联想记忆以及更多级的联想记忆是联想学习的重要基础,目前基本没有相关工作研究使用忆阻器网络实现多级联想记忆。因此,如何设计一种功能齐全、结构简单、能仿生多级联想学习的联想记忆电路极为重要。

发明内容

针对现有技术的缺陷和改进需求,本发明提供了一种基于非熔融态相变器件的多级联想记忆电路,其目的在于提供一种结构简单、无需复杂外围控制电路的能够模拟经典条件反射中多级条件反射的获取和消退过程的多级联想记忆电路。

为实现上述目的,本发明提供了一种基于非熔融态相变器件的多级联想记忆电路,包括:N+1个输入节点,分别用于接收非条件刺激信号和第j级条件刺激信号,j=1,…,N,N为所述多级联想记忆电路的最大联想记忆级数,N≥2;N(N+1)/2个互连模块,任意两个所述输入节点之间连接有一所述互连模块,以对各所述输入节点接收到的信号进行两两耦合,每一所述互连模块包括两条反向并联的支路,每一所述支路包括串联的非熔融态相变器件和二极管;N+1个电阻突触,一端与所述N+1个输入节点一一对应连接,用于传输耦合后的信号;N+1个输出神经元模块,与所述N+1个电阻突触的另一端一一对应连接,用于对连接的电阻突触传输的信号进行积分,并根据积分结果与神经元阈值电压之间的大小分别输出非条件反应信号和第j级刺激反应信号。

更进一步地,所述输出神经元模块包括:积分泄露电路,包括并联的电阻和电容,一端连接所述电阻突触的另一端,另一端接地;比较器,一输入端连接所述积分泄露电路的一端,另一输入端用于输入所述神经元阈值电压;信号发生器,输入端连接所述比较器的输出端,输出端为所述输出神经元模块的输出端。

更进一步地,N=2,所述多级联想记忆电路为二级联想记忆电路,R2/R1≥100,R3/R1≥100,R3小于所述非熔融态相变器件的最大电阻态,其中,R1为所述电阻突触的阻值,R2为所述非熔融态相变器件的阻值,R3为所述积分泄露电路中电阻的阻值。

更进一步地,所述非条件刺激信号和第j级条件刺激信号均包括依次相连的负矩形脉冲和正三角脉冲,所述正三角脉冲为零左上升沿三角脉冲,所述正三角脉冲的宽度为所述负矩形脉冲的宽度的3至5倍。

更进一步地,所述负矩形脉冲的幅值绝对值|V1|和所述正三角脉冲的最大幅值V2满足:

|Vd|<|V1|<1.4|Vd|

|Vd|<V2<|Vp|

|Vp|<|V1|+V2

其中,|Vd|为所述非熔融态相变器件的重置阈值电压,|Vp|为所述非熔融态相变器件的置态阈值电压。

更进一步地,所述二极管的负极连接所述非熔融态相变器件,所述二极管的正极连接所述输入节点。

更进一步地,所述非熔融态相变器件的初始电导值为最低电导态的电导值。

更进一步地,当第1级条件刺激信号多次先于所述非条件刺激信号预设时间输入时,所述多级联想记忆电路形成第一级联想记忆;第i-1级联想记忆形成之后,当第i级条件刺激信号多次先于第i-1级条件刺激信号预设时间输入时,所述多级联想记忆电路形成第i级联想记忆,i=2,…,N;所述预设时间介于0和脉冲时序依赖可塑性窗口的最大时间差值之间。

更进一步地,当N级联想记忆形成之后,持续单独输入第N级条件刺激信号后,所述N级联想记忆消退。

总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:基于非熔融态相变器件设计多级联想记忆电路,利用非熔融态相变器件模拟突触权重以及简化型的脉冲时序依赖,与现有联想记忆电路相比,没有多余的用于突触权重调节的外围控制电路以及来自突触后神经元的反馈信号电路,是一个简单且完全前馈的电路结构,因此完成仿真所需要的功耗及延迟更少;通过对输入波形进行控制,能够模拟生物联想记忆中联想的获取与消退、输入信号时间差不同的情况下不同的联想学习效果,拥有齐全的仿生功能;其架构具有很大的泛用性及可扩展性,能够模拟经典条件反射中多级条件反射的获取和消退过程可用于更多不同情况下的多级联想记忆以及组建大型人工神经网络电路。

附图说明

图1为本发明实施例提供的基于非熔融态相变器件的多级联想记忆电路的整体框图;

图2为本发明实施例提供的基于非熔融态相变器件的二级联想记忆电路的电路实现结构图;

图3为本发明实施例提供的非熔融态相变器件电导随脉冲信号的渐变曲线图;

图4A为本发明实施例提供的一种存在时间差的输入信号及其叠加效果的示意图

图4B为图4A所示信号作用下产生的简化型脉冲时序依赖可塑性(Spiking-Timing-Dependent Plasticity,STDP)特性图;

图5为本发明实施例提供的完成二级联想记忆时输入输出信号的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

在本发明中,本发明及附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。

首先介绍本发明实施例中基于非熔融态相变器件的多级联想记忆电路所实现的功能。在巴浦洛夫经典条件反射实验中,食物对狗来说是非条件刺激,即不管什么情况下给食物信号狗都会产生分泌唾液的非条件反应。铃声对狗来说则是条件刺激,在初始情况下给铃声信号狗只会有听觉反应而不会有分泌唾液的反应,而在多次食物信号与铃声信号一起出现之后,只给铃声信号狗也会产生分泌唾液的条件反应。狗将这两个信号关联在一起的能力称为联想记忆。在联想完成之后,若多次只给铃声信号不给食物信号,或多次只给食物信号不给铃声信号,狗会将这两个信号之间的联系削弱,最后将不再对铃声信号产生分泌唾液的条件反应。这种情况被称为联想的消退作用。

巴浦洛夫在实验中也发现过一个关于狗的复杂神经活动的例子,即二级联想记忆。初始情况下,狗只对食物信号产生分泌唾液的非条件反应,对灯光信号和乐音信号只分别产生对应的视觉和听觉非条件反应而不产生唾液分泌反应。首先重复性地向狗施加灯光信号后紧跟食物信号的组合信号后,狗会将这两种信号进行联想,即会对单灯光信号同时产生视觉非条件反应和唾液分泌条件反应,此时灯光信号被称为一级条件刺激。接下来,再重复性地施加乐音信号后紧跟灯光信号的组合信号后,狗又会将此时的这两种信号进行联想,并递推地联想至此时未施加的食物信号,即会对单乐音信号同时产生听觉非条件反应、视觉条件反应和唾液分泌条件反应,此时乐音信号被称为二级条件刺激。这种新条件刺激通过和已与非条件刺激产生了联想的旧条件刺激一起作用后也与非条件刺激产生联想的学习能力称为二级联想记忆。同样地,在多次仅输入条件刺激(乐音信号/灯光信号)而不输入非条件刺激(食物信号)的情况下,狗的神经网络也会产生联想的消退,即对条件刺激(乐音信号/灯光信号)不会再产生条件反应。二级联想记忆是高等动物学习生存的基本神经活动,只有通过这种多级联想动物才能学习到更多生存技能,人类才能学习到更多知识。因此构建能模拟二级乃至多级联想记忆的电路结构将对推动联想学习的硬件实现在人工智能中的应用奠定基础。

本发明的目的是针对现有工作中对基于忆阻器的联想记忆电路设计的不足,提供一种结构简单且能仿生多级联想记忆的人工神经网络电路实现方案。本发明除了有对多级条件刺激信号的依次联想的学习功能,还有在联想产生后仅输入条件刺激后产生联想的消退功能。具有简单的电路结构和优异的可扩展性,为组建大型人工神经网络的应用场景打下良好基础。

图1为本发明实施例提供的基于非熔融态相变器件的多级联想记忆电路的整体框图。参阅图1,结合图2-图5,对本实施例中基于非熔融态相变器件的多级联想记忆电路进行具体说明。

参阅图1,基于非熔融态相变器件的多级联想记忆电路包括以下元件。N+1个输入节点,分别用于接收非条件刺激信号和第j级条件刺激信号,j=1,…,N,N为多级联想记忆电路的最大联想记忆级数,N≥2。N(N+1)/2个互连模块,任意两个输入节点i和j之间连接有互连模块i-j,以对各输入节点接收到的信号进行两两耦合。每一互连模块包括两条反向并联的支路。每一支路包括串联的非熔融态相变器件和二极管。N+1个电阻突触,一端与N+1个输入节点一一对应连接,用于传输耦合后的信号。N+1个输出神经元模块,与N+1个电阻突触的另一端一一对应连接,用于对连接的电阻突触传输的信号进行积分,并根据积分结果与神经元阈值电压之间的大小分别输出非条件反应信号和第j级刺激反应信号。

非熔融态相变器件能够模拟生物神经突触的功能,在电路中充电电子突触。非熔融态相变器件能够模拟突触权重的可塑性以及简化型的脉冲时序依赖的可塑性。作为无极性的两端器件,非熔融态相变器件的电导值随施加于其两端的净电压的绝对值大小而改变。当施加在非熔融态相变器件上的净电压绝对值超过重置阈值电压|Vd|且不超过置态阈值电压|Vp|时,器件的电导下降,即被重置;当施加在非熔融态相变器件上的净电压绝对值超过置态阈值电压|Vp|时,器件的电导上升,即被置态;当施加在非熔融态相变器件上的净电压绝对值小于重置阈值电压|Vd|时,器件的电导不变。由此,可以通过设计器件两端施加的脉冲信号,来实现简化型的脉冲时序依赖的可塑性。

参阅图2,示出了N=2时的二级联想记忆电路的电路结构,其中节点207、208和209分别为三个输出神经元模块的膜电位节点。输出神经元模块包括积分泄露电路、比较器和信号发生器。积分泄露电路包括并联的电阻和电容,其一端为连接电阻突触另一端的膜电位节点,另一端接地,完成对前一级神经元输出信号的积分泄露。优选地,积分泄露电路中,电容值选取为适宜的低电容值,电阻值低于非熔融态相变器件的最大电阻态的阻值。比较器一输入端连接积分泄露电路的一端,另一输入端用于输入神经元阈值电压,完成对膜电位是否达到神经元阈值电压的判断以及输出信号的产生。信号发生器输入端连接比较器的输出端,输出端为输出神经元模块的输出端,比较器的输出信号为其连接的信号发生器的触发信号,控制信号发生器在信号输出端产生输出信号。信号发生器为上升沿触发,输出信号为单个脉冲。每一比较器和其连接的信号发生器实现了细胞体功能。

图2中具体示出了互连模块由两条非熔融态相变器件与二极管的串联电路反向并联后组成;其中非熔融态相变器件为互连电子突触,承担两个输入信号之间关联程度的作用;二极管承担信号单向传输以及器件单向置态的作用,二极管的负极连接非熔融态相变器件,二极管的正极连接输入节点,二极管优选为肖特基二极管;两条反向并联电路分别承担信号时间差为正和为负情况下的不同联想。电阻突触为低值电阻。

对于图2所示二级联想记忆电路,电阻突触的阻值远小于互连模块中的非熔融态相变器件的阻值,且远小于RC积分泄露电路中泄漏电阻的阻值。具体地,R2/R1≥100,R3/R1≥100,其中,R1为电阻突触的阻值,各电阻突触的阻值相同,R2为非熔融态相变器件的阻值,R3为积分泄露电路中电阻的阻值。积分泄露电路中电阻的阻值小于非熔融态相变器件的最大电阻态。本实施例中,初始情况下,各互连模块中非熔融态相变器件的初始电导值一致,且均为最低电导态的电导值。

本发明实施例中,输入节点中输入的非条件刺激信号或条件刺激信号均为组合脉冲信号,组合脉冲信号包括依次相连的负矩形脉冲和正三角脉冲,如图4A中示出的脉冲。正三角脉冲为零左上升沿三角脉冲,正三角脉冲的宽度为负矩形脉冲的宽度的3至5倍。负矩形脉冲的幅值绝对值|V1|和正三角脉冲的最大幅值V2满足:

|Vd|<|V1|<1.4|Vd|

|Vd|<V2<|Vp|

|Vp|<|V1|+V2

其中,|Vd|为非熔融态相变器件的重置阈值电压,|Vp|为非熔融态相变器件的置态阈值电压。

非熔融态相变器件用作互连电子突触,对于不同绝对值大小的电压信号,其电导会发生增大或减小的变化。简化型的脉冲时序依赖可塑性功能可描述为:当电子突触两端施加的脉冲信号时间差0<Δt<Δtw(Δtw为脉冲时序依赖窗口的最大时间差值)时其权重ΔW>0,Δt<0或Δt>Δtw时其权重ΔW<0。简化型STDP是利用电子突触器件实现联想记忆功能的基础,即只有当条件刺激先于非条件刺激很短时间内输入时才能形成对应的联想记忆产生对应的条件反应,而条件刺激后于非条件刺激输入时无法形成对应的联想记忆,同时在联想形成后重复性地仅输入条件刺激,联想将发生消退。

根据本发明的实施例,当第1级条件刺激信号多次先于非条件刺激信号预设时间输入时,多级联想记忆电路形成第一级联想记忆。第i-1级联想记忆形成之后,当第i级条件刺激信号多次先于第i-1级条件刺激信号预设时间输入时,多级联想记忆电路形成第i级联想记忆,i=2,…,N。预设时间介于0和脉冲时序依赖可塑性窗口的最大时间差值Δtw之间。当N级联想记忆形成之后,持续单独输入第N级条件刺激信号后,N级联想记忆消退。第i级联想记忆或第1级联想记忆形成之后,当单独输入第i-1级条件刺激信号或非条件刺激信号时,二极管还用于控制多级联想记忆电路不产生第i级刺激反应信号或第1级刺激反应信号,i=2,…,N。

图3示出了非熔融态相变器件电导随脉冲信号个数变化的曲线图。图中虚线分隔出了器件电导分别在置态脉冲和重置脉冲作用下表现出的长时程增强(Long-termpotentiation,LTP)特性和长时程削弱(long-term depression,LTD)特性,即器件电导在幅值绝对值大于|Vp|的电压脉冲连续作用下会增大,在幅值绝对值小于|Vp|大于|Vd|的电压脉冲连续作用下会减小,且|Vp|≈2|Vd|。从图中也可看出器件的LTP特性是陡变且态数少的,而LTD特性是缓变且态数多的,这个特性将有利于实现对联想记忆和消退的模拟。

图4A示出了本发明实施例提供的一种存在时间差的输入信号以及其叠加效果的示意图。其中信号401施加在二极管与非熔融态相变器件串联电路的二极管阳极端为突触前信号,信号402施加在此串联电路的非熔融态相变器件的非串联端为突触后信号,信号403为信号401与信号402的叠加效果示意图。信号401与信号402中的输入信号由一个负矩形脉冲和一个正三角脉冲组合而成,负脉冲部分的幅值绝对值略大于非熔融态相变器件的|Vd|,正脉冲部分为零左上升沿的三角波且最大幅值位于器件的|Vd|与|Vp|中间。同时正脉冲部分的脉冲宽度为负脉冲部分的数倍大小。Δt为两端信号之间的时间差,突触前信号先于突触后信号时Δt>0,反之Δt<0。当Δt>0时,从403信号可看出叠加后的波形为两个较低幅值绝对值的负脉冲和一个较高幅值绝对值的正脉冲的组合,经过设计正脉冲的幅值绝对值大于非熔融态相变器件的|Vp|,那么经过二极管对负脉冲的过滤作用只剩正脉冲将器件置态从而电导值增大。当Δt<0时,叠加后的波形为两个较低幅值绝对值的正脉冲和一个较高幅值绝对值的负脉冲,正脉冲的幅值绝对值略大于器件的|Vd|,由于负压被二极管过滤因此器件被大于|Vd|的正脉冲重置从而电导值减小。还有一种情况是Δt>Δtw时,其中Δtw约等于正三角波的脉宽大小,此时突触前后信号在时间上不重叠,因而只有突触前信号作用于器件上使器件被重置导致电导值减小。上述分析可由图4B的简化型STDP特性图概括,其中ΔWp电子突触权重在STDP窗口内时的正向变化值,ΔWd为不在STDP窗口内时权重的负向变化值,突触权重W=G(G为非熔融态相变器件的电导值)。且|ΔWp|>|ΔWd|是由于器件的LTD特性较LTP特性更为缓变。

图5示出了本发明实施例所完成的二级联想记忆输入输出信号示意图。其中非条件刺激501信号输入IN1端,一级条件刺激502信号输入IN2端,二级条件刺激503信号输入IN3端;504信号为OUT1端输出的非条件反应,505信号为OUT2端输出的一级刺激反应,506信号为OUT3端输出的二级刺激反应。如图中第一个虚线框内所示,初始情况下,只分别输入三种刺激信号时只有对应的三个神经元进行了响应,这是因为六条互连通路中的非熔融态相变突触器件的初始电导都是最低电导值。接着重复性地输入一级条件刺激后紧跟非条件刺激的组合信号,它们之间的时间差0<Δt<Δtw,则互连1-2中突触器件的权重按照STDP特性逐渐上升。再次只输入一级条件刺激时,如第二个虚线框所示,同时产生了非条件反应和一级刺激反应,即此时完成了一级联想记忆;而虚线框内只输入非条件刺激后发现只产生了非条件反应,这验证了二极管保证了联想是单向的。接下来重复性地输入二级条件刺激后紧跟一级条件刺激的组合信号,同样地0<Δt<Δtw,则互连2-3中突触器件的权重按照STDP特性逐渐上升,同时由于只有一级条件刺激输入的情况下互连1-2中的突触器件权重在逐渐减小。最后只输入二级条件刺激时,如第三个虚线框内所示,同时产生了非条件反应、一级刺激反应和二级刺激反应,即此时完成了二级联想记忆。而随着单二级条件刺激输入个数的增加,互连1-2和互连2-3中的突触器件权重都在逐渐减小,最后减小到不再产生非条件反应和一级刺激反应,即此时完成了联想的消退。非条件反应消退得比一级条件刺激早的原因是在互连1-2中的突触器件权重在进行二级联想学习时已经减小了一部分。图5中的三角波只是电刺激的示意图,其具体波形为图4A中展示的输入信号波形。

本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

完整详细技术资料下载
上一篇:石墨接头机器人自动装卡簧、装栓机
下一篇:光学神经网络及基于其的数据处理方法、装置、存储介质

网友询问留言

已有0条留言

还没有人留言评论。精彩留言会获得点赞!

精彩留言,会给你点赞!