大脑处理信息样本量和网络规模问题

大脑处理信息样本量和网络规模问题 . 会员号:S424400081M 大脑处理信息的样本量和网络规模问题 1,*谢勤 1 广州市科技和信息化局，第16届亚运会组委会信息技术部，广州 510000 *通讯作者 E-mail:xieqin1982@21cn.com 摘要:结合人工神经网络领域的理论成果，量化描述大脑处理信息的过程，分析大脑各生化参数、生理机制对具体信息存储、信息提取的影响，将有助于进一步理解大脑的工作原理。本文介绍了一个量化描述大脑信息存储、信息提取的思路，并结合结构风险最小化原理，分析说明大脑在具体信息处理过程中存在样本量和网络规模匹配的问题。在量化模型的帮助下，可以看到，血液循环的时序控制作用、语言机制等能和大脑的生化参数相互配合，实现如下几点，从而使大脑能对不同信息处理组织起相对独立规模受控的子网络，降低结构风险，准确而高效的处理信息:1 在处理特定信息的时候，相关网络中细胞的兴奋程度足够大，并且能维持足够长的兴奋时间 2 在处理特定信息的时候，无关网络中细胞的兴奋程度足够小 3 兴奋程度大小和时间长短不同造成连接改变程度差异，改变程度差异参数和遗忘机制的参数能相互配合 4 在实现差异的基础上，又能保证生化环境的稳定，使信息提取时输入神经网络的样本不和训练样本差别过大 5 子网络的组织有一定的稳定性和灵活性。 关键词 过程存储与重组模型;时序控制;微循环;结构风险;中枢神经系统;信息处理 ------------------------------------------------------------------------------ 作者简介:谢勤，(1982-)，男，华南理工大学硕士，最近在亚组委信息技术部专家顾问岗位完成核心信息系统——计时记分和成绩处理系统项目实施管理方面的工作，其中计时记分系统投资一亿。主要研究方向:计算机科学与工程，人工智能，神经生物学。 . . 前言 结合人工神经网络领域的理论成果，量化描述大脑处理信息的过程，分析大脑各生化参数、生理机制对具体信息存储、信息提取的影响，将有助于进一步理解大脑的工作原理。本文介绍了一个量化描述大脑信息存储、信息提取的思路，并结合结构风险最小化原理，分析说明大脑在具体信息处理过程中存在样本量和网络规模匹配的问题。在量化模型的帮助下，可以看到，血液循环的时序控制作用、语言机制等能和大脑的生化参数相互配合，实现如下几点，从而使大脑能对不同信息处理组织起相对独立规模受控的子网络，降低结构风险，准确而高效的处理信息:1 在处理特定信息的时候，相关网络中细胞的兴奋程度足够大，并且能维持足够长的兴奋时间 2 在处理特定信息的时候，无关网络中细胞的兴奋程度足够小 3 兴奋程度大小和时间长短不同造成连接改变程度差异，改变程度差异参数和遗忘机制的参数能相互配合 4 在实现差异的基础上，又能保证生化环境的相对稳定，使信息提取时输入神经网络的样本不和训练样本差别过大 5 子网络的组织有一定的稳定性和灵活性。 1 大脑信息存储、信息提取的一种量化描述 在本节中将介绍一个量化描述大脑处理信息，包括信息存储和信息提取的思路。后面将在这一量化模型的基础上，结合结构风险最小化理论进行分析。 1.1模型对一些事实的简化描述 1 目前普遍接受的联系单个神经细胞和整网运作的理论是，大脑通过突触的可塑性进行信息存储并通过多个神经细胞的同步兴奋或者抑制对某一个具体的信息进行处理(图1)。 以图像G为例，大脑存储图像G的过程描述如下:通过红色细胞的同步兴奋，改变G中细胞之间的连接，增大红色细胞群同步兴奋的概率，同时增大红色细胞群兴奋时蓝色细胞群抑制的概率。大脑提取图像G的过程描述如下:由于某些原因，例如外界的刺激信号等使红色细胞群中的几个细胞兴奋程度和兴奋持续时间比大脑中其他大量细胞高和长，由于在存储的过程中，红色细胞同步兴奋的概率大，同时蓝色细胞抑制，因此出现红色细胞群兴奋程度高于大脑中其他大量细胞，蓝色细胞群抑制程度高于大脑中其他大量细胞的情况，并且这种情况持续一段时间，从而形成“回忆起图像G”的心理现象。 . . 图1 神经网络处理信息的机制示意 Fig.1 Illusion about how brain processing a graphic * 红圈中的细胞存储了一幅图像G，当图像G意识中浮现的时候，需要红色的细胞兴奋，而蓝色的细胞抑制。 * When brain processing a piece of information (e.g. a graphic G “pop up” in our mind), it’s required that some special cells are active (tag with red), and other cells are depressed (tag with blue or white). 2 建模时，兴奋性连接权值为正值，抑制性连接权值为负值。 图2 建模时连接权值的约定 Fig.2 Power definitions of network model 3 对于网络存在反馈回路的情况。在观察时间精度和空间精度足够小，并且对网络所处生化环境状态进行足够精细分类的前提下，并由于采用扩维的数学处理(具体后面叙述)，对有反馈回路网络行为的观察可以近似看做对一系列前向网络行为的观察;对有反馈回路网络的训练可以近似看做对一系列前向网络的训练，图3。 . . 图3 有反馈回路的网络可以看成一系列前向网络 Fig.3 Treat network with reactive circuits as a set of networks without reactive circuits 1.2 信息存储的过程 由于神经细胞兴奋的时候具有绝对不应期，因此用足够小的时间精度观察神经网络 存储信息的过程时，可以看成用一组训练样本(其中每个训练样本为“足够小”的时间段内各个神经细胞的兴奋状态)对神经网络进行训练。图4、图5以三个细胞组成的网络为例，说明了训练样本的相关概念。 对于分析过程中分解出来的每个前向网络，如下图中以细胞3为输出细胞的前向网络，一个样本对应于各个输入的状态，各个细胞的兴奋状态。各个输入的状态实际上也是前级神经细胞的兴奋状态决定的，对整个神经网络，每个训练样本为“足够小时间段内各个神经细胞的兴奋状态”。 . . 图4 训练样本的概念和相关说明 Fig.4 Illustration of neural network training . . 图5 训练样本的概念和相关说明2 Fig.5 Illustration of neural network training 2 1.3 信息提取的过程 图6介绍了信息提取过程的相关概念和说明。以图1中图象G的提取为例，在大脑提取信息的时候，一系列扩维后的输入样本连续输入神经网络，经过图6中描述的过程，形成红色细胞群兴奋程度高于大脑中其他大量细胞，蓝色细胞群抑制程度高于大脑中其他大量细胞的情况，并且这种情况持续一段时间，从而形成“回忆起图像G”的心理现象。 . . . . 图6 信息提取过程的相关概念和说明 Fig.6 Illustration of information processing 2运用结构风险最小化理论进行分析 1 由于一系列遗忘机制的存在，从训练效果看，建模时只需要考察改变程度较强的连接，以兴奋性突触为例，如果建立连接过程中细胞发放频率比较高，造成的突触兴奋连接效果较强，在遗忘机制的作用下能够保留同时兴奋的特性;如果建立连接过程中细胞的发放频率不太高，造成的突触兴奋连接效果不强，在遗忘机制的作用下不能保留同时兴奋的特性。例如图7中，在存储一个具体信息的过程中，只需要考虑标记有?的连接改变，其他的连接等效于没有改变。 图7 建模时只需要考虑改变程度足够大的连接 Fig.7 When modeling, just need to consider the cell-connection-changings those are larger enough, because just them can survive kinds of forget mechanisms 2 由于绝对不应期的存在，并且记忆形成在神经细胞同步和异步放电的过程，因此在 特定的一段时间内，例如零点几秒或者几秒内，训练样本的总数是有限的。 3 对于大脑神经网络，突触数量虽多，但并非无穷，因此VC维数是有限的。因此， 按照1节 的简化模型观察大脑网络的时候，风险一致收敛于实际风险的充要条件是成立的，从而为应用结构风险最小化相关理论分析网络提供了可能性。 4 用1节中的简化模型考察大脑神经网络的训练和知识提取过程。从训练效果看，训练后的“一系列前向网络”必须满足“一系列一定的概率函数”――这是一个网络能够正确而高效的处理信息的必要条件。而在样本量有限的情况下，结构风险最小化相关理论可以用于评判该条件的满足程度。在样本量有限的情况下，存在样本量必须和网络规模匹配的问题。 5 大脑中生化环境参数、血液循环机制、遗忘机制的配合:以氧供应为例，从缺氧症的症状和相关的脑电波现象可以看到，当动脉血带来的物质少于正常值的时候，细胞的兴奋程度比较低，存储信息时，改变的连接大部分被遗忘机制抵消，形成记忆力下降的心理现象，而提取信息时，出现注意力涣散的现象;从氧中毒的症状可以看到，当需要动脉血周期性带来的物质过多的时候，细胞的兴奋程度过高，从结构风险角度，相关网络范围过大，信息处. . 理的效果也不佳。在正常情况下，在处理某一特定信息的时候，获得动脉血多的区域能保证细胞群有足够的兴奋程度，获得动脉血少的区域，细胞群的兴奋程度足够低，对信息存储和提取的影响不大;这种情况等效于组织起一个规模受控的子网络。由于工作在合适的参数范围，配合微循环系统的调节机制，以及血液供应机制遍布在大脑各个区域，血液循环机制成为能在全局范围中，秒或更小时间尺度上协调神经细胞工作的基础时序控制机制。这一时序 [1-5]控制机制控制了相关网络规模，降低机构风险，有利于大脑高效处理信息。 6 血液循环的时序控制作用实现“在处理不同信息的时候，组织起各自相对独立的子网络”的详细过程见图8。血液循环的时序控制作用一方面控制了子网络规模，降低结构风险，一方面使建立的必要的连接“更加牢固”，因此有利于网络正确而高效的处理信息。 . . 图8 血液循环的时序控制作用组织组织独立子网络的过程示意图 Fig.8 The illustration about how timing control function of blood circulation organize respective sub networks when brain processing different information 7 除血液循环外，其他能“对不同的信息处理，组织起相对独立的子网络”的机制(例如 语言机制、海马结构)都有利于生物神经网络准确而高效地处理信息。 参考文献(References) [1] 谢勤，王乙容(大脑处理信息的过程存储与重组模型[J](现代生物医学进展，2007，(3):432-435，439 Xie Qin, Wang Yi-rong. Storing and Re-engineering of Models of Cerebral Information Process [J]. Progress of Modern Biomedicine, 2007,(3):432-435,439 [2] 谢勤(血液循环在大脑信息处理过程中的时序控制作用[J](现代生物医学进展，2008，(6):1152-1159 Xie Qin. Timer Role of Blood Circulation When Brain Processing Information [J].Progress of Modern Biomedicine, 2008, (6):1152-1159 [3] 谢勤(过程存储与重组模型[Z](www.sciam.com.cn，2006 Xie Qin. Model of Process Storing and Recalling [Z].www.sciam.com.cn, 2006 [4] 谢勤(一种关于脑电波起源和含义的观点[C](中国神经科学学会第七次全国学术会议论文集(北京: 科学出版社，2007:144 th Xie Qin. A Viewpoint about origin and meaning of EEGs[C].Proceedings of the 7 Biennial Meeting and the th5 Congress of the Chinese Society for Neuroscience. Beijing: Science Press, 2007:144 [5] 谢勤(血液循环在大脑信息处理过程中的时序控制作用整理[C](中国神经科学学会第八次全国学术会 议论文集(北京:科学出版社, 2009: 135 Xie Qin. A Review of [C].Proceedings thof the 8 Biennial Meeting of the Chinese Society for Neuroscience. Beijing: Science Press. 2009: 135 .