歌不能倒着唱，电话号码的数字顺序不能混，舞蹈动作一招一式不能乱……生活中，人们经常碰到时序记忆的问题，大脑是如何把这些信息进行编码，并依序存储在几秒的短时记忆中呢？

　　早在19世纪初，认知心理学家们就开始思考序列信息的表征方式，序列信息编码也被认为是人类语言句法结构的前提，机器学习领域对序列翻译的探索更是催生了如今大显身手的Transformer模型。但是，对于具有时序信息记忆的大脑神经编码机制，人类仍知之甚少。

　　2月11日，国际学术期刊《科学》以长文形式发表了题为《序列工作记忆在猕猴前额叶表征的几何结构》的研究论文，解密了这一谜团。 

　　该研究由中科院脑科学与智能技术卓越创新中心、中科院灵长类神经生物学重点实验室王立平研究组，上海脑科学与类脑研究中心闵斌副研究员和北京大学生命科学学院唐世明课题组合作完成。在该研究中，科学家训练猕猴记忆由多个空间位置组成的序列，并利用在体双光子钙成像技术记录猕猴大脑前额叶皮层的神经元活动。研究人员发现神经元以群体编码的形式表征了序列中的每一个空间位置，并在这些表征中发现了类似的环状几何结构。该研究为理解神经网络如何进行符号表征这一难题提供了新的见解。

　　“认知活动的一个核心维度是时序。时序信息的表征和操作是包括记忆、语言等重要认知活动的基础。大脑如何编码时序信息是极为重要的未解之谜。”中科院院士、认知科学和实验心理学家陈霖如是评价该项成果。

　　猕猴实验，开启时序记忆研究的新路径 

　　王立平课题组和唐世明课题组的京沪合作，缘自3年前，唐世明一次到访中科院脑科学与智能技术卓越创新中心。“唐老师是研究猕猴认知科学领域的顶尖学者，能够帮助我们在猕猴清醒的情形下获取大脑神经元的实时数据，那次见面，我们只谈了15分钟，就确定下来要合作。”王立平回忆道。

　　猕猴是演化上最接近人类的模式动物，其认知能力、大脑的结构与功能相比于其他模式动物更接近人类，是研究时间序列等复杂高级认知功能的最佳模型。因此，为了探究时序记忆编码问题，研究人员训练猕猴记忆由多个位置点组成的空间序列（图1）。

　　在实验中，猕猴面前的屏幕上会依次闪现三个不同的点，猕猴需要在几秒钟之后将这些点按之前呈现的顺序汇报出来。在汇报前的几秒记忆保持期内，空间序列的信息便以工作记忆的形式被暂时储存在大脑中。为了记录大脑神经元群体在猕猴进行任务时的活动状态，研究人员对工作记忆的大本营——外侧前额叶皮层进行了双光子钙信号成像。钙信号可反映神经元的脉冲放电活动，而序列信息表征的关键就在记忆期神经元群体的活动模式之中。

　　图1：猕猴空间序列记忆任务

　　大脑如何在记忆期内同时表征序列中多个信息呢？“我们猜想，猕猴的大脑中也有一块‘屏幕’，它可以把出现过的点记在这个屏幕上”。可如果三个点同时在记忆保持期内显示在了这个屏幕上，每个点的次序又该如何体现呢？猕猴的大脑里面是否会同时存在三块不同的屏幕？这样每个屏幕只需要记下一个点的信息，而且屏幕之间不会互相干扰。

　　实验证明了研究人员的猜想，他们分析了钙成像获得的高维数据，发现可以在高维向量空间里面找到每个次序的信息所对应的二维子空间(subspace)，即找到其对应的“屏幕”（图2）。在每个子空间内，不同的点所对应的空间位置与真实视觉刺激的环状结构保持了一致。而且，不同次序所对应的子空间接近相互正交，说明大脑确实用到了三块不同的屏幕来表征序列信息。

　　为了进一步探究大脑是否总是用相同的这几块“屏幕”记忆不同类型的空间序列，研究人员对数据做了解码分析，即运用机器学习方法训练线性分类器来区分不同次序上的空间信息。比如，用猕猴正确应答时的神经元群体活动训练解码器，可以在部分做对的序列里面取得较好的解码效果。这些结果提示了用于编码次序的“屏幕”是稳定通用的。

　　图2：序列记忆在神经高维向量空间的表征

　　研究人员还发现，不同次序的子空间之间共享了类似的环状结构，只是环的半径大小会随次序的增加而减小。一个可能的解释是，次序靠后的信息所分配到的注意资源更少，导致对应的环变小、区分度降低。这一结构也对应了序列记忆的行为表现，例如我们日常生活中如果记忆的内容越多，越往后的信息便更容易出错。

　　记忆是首协奏曲，神经元并非各自弹唱 

　　闵斌介绍，该发现也可总结为群体水平的空间信息编码几何结构受时序调制的性质。有意思的是，这种性质并不完全适用于单个神经元水平，而单神经元活动的增强调制正是经典序列工作记忆模型的关键假设，提示了序列记忆的编码应更加关注群体神经元性质。

　　“在过往的研究中，单个神经元通常被视为专门处理序列中的某一类信息，就好比一个交响乐团演出时，乐手甲负责拉小提琴，乐手乙负责吹号，单个神经元的职能分工被视为一成不变的。但我们的研究发现，现实情况却是，在演奏乐曲A时，乐手甲负责拉小提琴，在演奏乐曲B时，乐手甲被分派去负责吹号，在前额叶脑区的神经网络中40%左右的神经元都或多或少参与了序列信息的处理工作，而且分工不是一成不变的。”王立平解释。

　　该研究第一次在群体神经元水平阐释了序列工作记忆的计算和编码原理，也为神经网络如何进行符号表征这一难题提供了新的思路。上世纪80年代，人工智能领域就有研究者提出张量乘积这一概念来实现神经网络对符号结构的表征，但其如何在神经网络层面自然涌现一直没有被很好的解决。序列工作记忆的神经表征正好对应了将该符号表征由对应次序的子空间嵌入到高维向量空间中，同时支持了下游神经网络对符号结构信息的线性读取。

　　王立平研究员、闵斌副研究员、研究助理胡沛烑、博士后谢洋讨论课题

　　中科院院士、神经科学和生物物理学家郭爱克评价认为，这篇论文的科学意义在于揭示了在工作记忆的时间尺度上，序列信息在大脑前额叶皮层的神经编码和表征机制，其创新性在于以猕猴的序列学习为对象，设计了时间和空间信息两个线索共存的实验范式，采用了双光子在体钙成像技术，记录了数千个大脑前额叶皮层神经元，发现了高维神经元状态空间可以分解为多个二维子空间之和，从而揭示了序列信息的工作记忆在猕猴前额叶皮层表征的简单几何结构。这个发现揭示了序列信息编码利用了降维原则，从而降低了神经计算复杂性。这是人类大脑在时间序列表征上的复杂性和简约性的辨证统一。这使他想起了哲学家叔本华所说，“简约性永远是真理和天才的共同特征”。

　　王立平研究员（右）与谢洋（左）讨论实验数据

　　“令人高兴的是，这个结果为70年前Karl.Lashley提出的理论假设‘序列信息是通过创造和维系神经活动来进行加工。为了控制序列动作，我们的大脑需要将其工作瞬间转移到持续的神经活动模式上’提供了实验数据支持。这就是科学魅力之所在！”郭爱克同时认为，这项研究成果将对受脑启发的人工智能研究发生影响, 将强化学习的效率大大提高了。

　　神经生物学家王以政院士表示，王立平研究员与他的合作者们，通过这一原创发现清楚地阐释了序列工作记忆的神经机制，也为理解神经网络如何进行符号表征这一难题提供了新的思路。（文中视频及图片均由中科院脑科学与智能技术卓越创新中心提供）

https://wap.peopleapp.com/article/6512603/6394122