基于p300与关联成像的视觉成像系统及方法
技术领域
本发明涉及成像探测
技术领域
，特别涉及一种基于P300与关联成像的视觉成像系统及方法。背景技术
大脑是人体中高级神经活动的中枢，拥有着数以亿计的神经元，并通过相互连接来传递和处理人体信息。脑电信号按其产生的方式可分为：诱发脑电信号和自发脑电信号。诱发脑电信号是通过某种外界刺激使大脑产生电位变化从而形成的脑电活动；自发脑电信号是指在没有外界特殊刺激下，大脑自发产生的脑电活动。P300事件相关电位是诱发脑电信号的一种，在小概率刺激发生后300毫秒范围左右出现的一个正向波峰(相对基线来说呈现向上趋势的波)。由于个体间的差异性，P300的发生时间也有所不同，图1表示的是在刺激发生后450毫秒左右的P300波形。P300电位作为一种内源性成分，它不受刺激物理特性影响，与知觉或认知心理活动有关，与注意、记忆、智能等加工过程密切相关。基于P300的脑-机接口优点是使用者无需通过复杂训练就可以获得较高的识别准确率，具有稳定的锁时性和高时间精度特性。
获取人眼所捕获的视觉信息在科研、医疗以及生活中都有积极的作用。在科研上，可以作为一种新型的技术手段，用于研究人眼的视觉工作过程，以及研究人眼和大脑的信息沟通的方式等，对前沿的人眼视觉的生物发展具有显著的积极作用。医疗上，可以用于人眼视网膜的研究，以及对视觉通路的诊断等，并且对于大脑疾病的诊断有着辅助作用。在生活中，可以辅助视觉增强设备的使用，增强用户体验，提升人机交互效果，甚至直接增强使用者的体验和效果。并且可以更进一步，辅助残障人士的日常生活。
但目前在科研、医疗以及生活中，获取人眼所捕获的视觉信息往往难以实现，即无法实现对人眼视觉信息的成像表征。
发明内容
本发明提出一种基于P300与关联成像的视觉成像系统，解决现有的成像技术难以对人眼视觉信息实现成像表征的问题。
本发明的一种基于P300与关联成像的视觉成像系统，包括：
主动随机光源，用于产生动态的随机散斑照射待成像物体表面，对所述待成像物体表面进行曝光，并控制曝光之后的待成像物体的反射光子在产生随机散斑调制的时间间隔内进入人眼以产生光学图像，每个随机散斑对应一个光学图像；
脑电设备，用于获取人脑根据所述光学图像产生的P300信号；
数据采集卡，用于按时序采集并存储每张随机散斑对应的P300信号；
计算装置，用于对随机散斑与P300信号进行互相关运算，以得到关联成像。
其中，所述光学图像由以下计算方式表达：
P(x,y,t)＝P0(x,y,t)+N(x,y,t)＝S(x,y,t)×O(x,y)+N(x,y,t)；
其中，P(x,y,t)为所述光学图像，S(x,y,t)为动态的随机散斑，P0(x,y,t)为动态的随机散斑S(x,y,t)照射下得到光学图像，O(x,y)为待成像物体的图像，N(x,y,t)为噪声光，其中x和y分别为光学图像的横纵坐标，t为随机散斑产生的时间。
其中，所述计算装置通过以下公式对随机散斑与P300信号进行互相关运算：
I(x,y)＝<S(x,y,t)D(t)>；
式中，<>表示互相关运算，I(x,y)为关联成像，S(x,y,t)为动态的随机散斑，D(t)为P300信号的辨别信号，当P300信号的幅值大于阈值时，D(t)＝1，否则D(t)＝0。
其中，所述主动随机光源产生动态的随机散斑为按稀疏矩阵分布的散斑。
其中，所述主动随机光源包括：激光器和可旋转的毛玻璃，所述激光器发散的激光透过旋转的毛玻璃产生赝热光。
其中，所述主动随机光源为投影仪。
本发明还提供了一种基于P300与关联成像的视觉成像方法，包括步骤：
S1：由主动随机光源产生动态的随机散斑照射在待成像物体的表面进行曝光，并控制曝光之后的待成像物体的反射光子在产生随机散斑调制的时间间隔内进入人眼以产生光学图像，每个随机散斑对应一个光学图像；
S2：采用脑电设备获取人脑根据所述光学图像产生的P300信号；
S3：用数据采集卡按时序采集并存储每张随机散斑对应的P300信号；
S4：计算装置对散斑与P300信号进行互相关运算得到关联成像。
其中，所述步骤S1中，光学图像由以下计算方式表达：
P(x,y,t)＝P0(x,y,t)+N(x,y,t)＝S(x,y,t)×O(x,y)+N(x,y,t)；
其中，P(x,y,t)为所述光学图像，S(x,y,t)为动态的随机散斑，P0(x,y,t)为动态的随机散斑S(x,y,t)照射下得到光学图像，O(x,y)为待成像物体的图像，N(x,y,t)为噪声光，其中x和y分别为光学图像的横纵坐标，t为随机散斑产生的时间。
其中，所述的步骤S4的互相关运算为：
I(x,y)＝<S(x,y,t)D(t)>；
式中，<>表示互相关运算，I(x,y)为关联成像，S(x,y,t)为动态的随机散斑，D(t)为P300信号的辨别信号，当P300信号的幅值大于阈值时，D(t)＝1，否则D(t)＝0。
其中，所述主动随机光源产生动态的随机散斑为按稀疏矩阵分布的散斑。
本发明的基于P300与关联成像的视觉成像系统及方法中，主动随机光源产生动态的随机散斑照射在待成像物体的表面，脑电设备采集人脑受随机散斑照射待成像物体的光学图像刺激之后产生的P300信号，采集卡按时序采集每张散斑对应的P300信号，计算装置对散斑与P300信号进行关联运算得到关联成像，该关联成像即人眼视觉信息的成像表征，从而实现了对人眼视觉信息实现成像表征。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为人脑在刺激发生后450毫秒左右的P300波形。
图2为本发明实施例的一种基于P300与关联成像的视觉成像系统结构原理框图；
图3为本发明实施例中待成像物体原始图像；
图4为本发明实施例中单张散斑下的待成像物体图像；
图5为本发明实施例中人眼的成像范围示意图；
图6为本发明实施例中人眼视网膜上成像的仿真结果图；
图7为本发明实施例中待成像物体的基于P300的关联成像仿真结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本实施例的基于P300与关联成像的视觉成像系统如图2所示，包括：主动随机光源1、脑电设备3、数据采集卡4和计算装置5。主动随机光源1产生动态的随机散斑S(x,y,t)照射在待成像物体2的表面，待成像物体2的像为O(x,y)，对待成像物体2表面进行曝光，并控制曝光之后的待成像物体2的反射光子在产生随机散斑调制的时间间隔内进入人眼以产生光学图像P(x,y,t)，每个随机散斑对应一个光学图像，该光学图像即为人眼视网膜成像的光学图像。脑电设备3用于获取人脑根据该光学图像P(x,y,t)产生的P300信号。数据采集卡4按时序采集并存储每张随机散斑对应的P300信号，计算装置5对散斑与P300信号进行关联运算得到关联成像。
该系统工作时，主动随机光源1可以通过控制随机散斑照射的持续时间来实现反射光子在产生随机散斑调制的时间间隔(即曝光的时间窗口均小于动态随机散斑调制的时间间隔)内进入人眼。主动随机光源1进行多次曝光，且每次曝光的时间窗口均小于动态随机散斑调制的时间间隔，避免对这个变化的散斑的成像结果，是多个不同散斑的叠加。数据采集卡4多次采集、存储P300信号并发送至计算装置5，之后采用计算装置5对散斑与P300信号进行关联运算得到关联成像。其中，脑电设备3具体可以为脑机接口设备，如：EmotivEPOC X，用于采集脑电信号，该脑机接口设备还集成了上述数据采集卡4，计算装置5可以是计算机或单片机等。
本实施例的基于P300与关联成像的视觉成像系统中，主动随机光源1产生动态的随机散斑照射在待成像物体2的表面，脑电设备3采集人脑受随机散斑照射待成像物体的光学图像刺激之后产生的P300信号，数据采集卡4按时序采集每张散斑对应的P300信号，计算装置5对散斑与P300信号进行关联运算得到关联成像，该关联成像即人眼视觉信息的成像表征，从而实现了对人眼视觉信息实现成像表征。
具体地，光学图像P(x,y,t)由以下计算方式表达：
P(x,y,t)＝P0(x,y,t)+N(x,y,t)＝S(x,y,t)×O(x,y)+N(x,y,t)；
其中，S(x,y,t)为动态的随机散斑，P0(x,y,t)为动态的随机散斑S(x,y,t)照射下得到光学图像，O(x,y)为待成像物体的图像，N(x,y,t)为噪声光，其中x和y分别为光学图像的横纵坐标，t为随机散斑产生的时间。
计算装置5通过以下公式对随机散斑与P300信号进行互相关运算：
I(x,y)＝<S(x,y,t)D(t)>；
式中，<>表示互相关运算，I(x,y)为关联成像，S(x,y,t)为动态的随机散斑，D(t)为P300信号的辨别信号，当P300信号的幅值大于阈值时，D(t)＝1，否则D(t)＝0。其中，阈值因人而异，不同的人阈值的具体值可能不同，本实施例中可选择在人没受到刺激时脑电信号的平均值+2×标准差。<>具体的运算方式为：对S(x,y,t)和D(t)进行相乘和积分运算。随机散斑的形状不一样，每张散斑打在物体上，会造成反射的总光强是不一样的，可用反射的光强信号作为产生P300信号的刺激信号，当P(x,y,t)的光强总强度大于其光强总强度的统计分布的第80百分位数的光强时，会产生较大幅值的P300信号，若超过阈值，得到D(t)＝1，否则D(t)＝0，而且光强总强度的变化的差异越明显，越能激发出P300信号，且产生的P300信号越强。
具体地，数据采集卡4通常是采用算法(如，支持向量机，线性辨别模型，长短期时序网络等)实现对信号中是否存在P300信号进行辨别，如果辨别结果为存在P300信号(即P300信号的幅值大于阈值时)，则输出为1，如果辨别结果为没有P300信号，则输出为0。
主动随机光源1产生动态的随机散斑为按稀疏矩阵分布的散斑。散斑越稀疏，散斑光点在空间上分布越分散，从而打到物体上的光点就时有时无，将大概率满足上述P(x,y,t)的光强总强度分布的条件，从而刺激大脑产生P300信号。
主动随机光源1包括：激光器和可旋转的毛玻璃，激光器发散的激光透过旋转的毛玻璃产生赝热光，该赝热光即为随机散斑。主动随机光源1还可以是投影仪，使用投影仪投射随机散斑。
本发明还提供了一种基于P300与关联成像的视觉成像方法，包括以下步骤：
步骤S1：由主动随机光源1产生动态的随机散斑照射在待成像物体2的表面进行曝光，并控制曝光之后的待成像物体的反射光子在产生随机散斑调制的时间间隔内进入人眼以产生光学图像，每个随机散斑对应一个光学图像。
步骤S2：采用脑电设备获取人脑根据所述光学图像产生的P300信号。
步骤S3：对每张随机散斑对应的P300信号用数据采集卡4按时序采集并存储；重复进行多次曝光和采集，即重复步骤S1～S3，曝光的时间窗口小于动态随机散斑调制的时间间隔。
步骤S4：使用计算装置5对散斑与P300信号进行互相关运算得到关联成像。
步骤S1中，通过人眼视网膜得到光学图像P(x,y,t)，即实现了随机散斑S(x,y,t)与待成像物体2的像O(x,y)之间的计算，光学图像P(x,y,t)由以下计算方式表达：
P(x,y,t)＝P0(x,y,t)+N(x,y,t)＝S(x,y,t)*O(x,y)+N(x,y,t)；
在上式中，S(x,y,t)为动态的随机散斑，P0(x,y,t)为动态随机散斑S(x,y,t)照射下得到光学图像，O(x,y)为待成像物体2的图像，N(x,y,t)为噪声光。
互相关运算为：I(x,y)＝<S(x,y,t)D(t)>，D(t)为P300信号的辨别信号，I(x,y)为关联成像，<>表示互相关运算，具体的运算方式为：对S(x,y,t)和D(t)进行相乘和积分运算。随机散斑的形状不一样，每张散斑打在物体上，会造成反射的总光强是不一样的，可用反射的光强信号作为产生P300信号的刺激信号，当P300信号的幅值大于阈值时，D(t)＝1，否则D(t)＝0，具体地，当P(x,y,t)的光强总强度大于其光强总强度的统计分布的第80百分位数的光强时，会产生较大幅值的P300信号，若超过阈值，D(t)＝1，否则D(t)＝0，而且光强总强度的变化的差异越明显，越能激发出P300信号，且产生的P300信号越强。通常数据采集卡4采用算法(如，支持向量机，线性辨别模型，长短期时序网络等)实现对信号中是否存在P300信号进行辨别，如果辨别结果为存在P300信号，则输出为1，如果辨别结果为没有P300信号，则输出为0。
参见图3，为待成像物体2原图，参见图4，随机散斑下的待成像物体2图像，即动态的随机散斑S(x,y,t)得到的单张光学图像，可以发现在随机散斑照射下，物体被部分点亮，优选使用的是按稀疏分布的随机散斑，散斑越稀疏，散斑光点在空间上分布越分散，从而打到物体上的光点就时有时无，将大概率满足上述P(x,y,t)的光强总强度分布的条件，从而大脑产生P300信号。按稀疏矩阵的概念，随机散斑打到物体上的光点所占面积与物体表面总面积比小于等于0.05时为按稀疏矩阵分布的随机散斑。
参见图5-7，图5是人眼看到的待成像物体2上的范围，会对所对准的部分进行成像，如图6所示，是当用均匀的光照进行照明时，模拟人眼看到物体的图像，即人眼视网膜上成像的结果图。图7为对人眼视觉的成像表征。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
