Small Science:忆阻器非线性在神经形态动力学系统中的应用

2021年诺贝尔物理学奖由对 “复杂系统”领域有开创性贡献的三位科学家共享。其中,奖金的一半授予Syukuro Manabe和Klaus Hasselmann以表彰他们 “对地球气候的物理建模,可变性量化以及对全球气候变暖的可靠预测”,另一半授予Giorgio Parisi以奖励其“发现了从原子到行星尺度的物理系统中无序和波动的相互作用”。

图1:来源www.nobelprize.org

复杂系统是包含大量单元、单元之间有相互作用的系统,具有非线性和自适应性的特点。各式各样的复杂系统使人类感到着迷,不乏从小小的生命体到浩瀚的宇宙再到错综复杂的人类社会这些意义深远的话题,我们也可以从图2中找到一些例子。

图2不同维度的线性和非线性系统示例。

这其中最能引起科学家无限好奇心的莫过于神秘的人类大脑,它由1011个神经元通过突触的相互耦合组织而成。这些神经元工作在混沌的边缘这样复杂的动力学模式下,具备数十种脉冲发放模式,将时空信息整合并加以非线性的计算。神经元之间相互合作,使秩序在无序中涌现,智慧得以从中萌芽。对大脑的窥探以及模仿是人类长期的课题,科学家在复杂系统孜孜以求的探索和神经科学的不懈研究或终将帮助我们找到解开人脑智慧密码的钥匙,也将对人工神经形态智能系统的搭建提供坚实的理论参考基础。除此以外,在发展受大脑启发的人工神经形态智能系统中,另一大任务是研发能够充分模拟神经元和突触非线性动力学特性的电子器件。在众多候选者种,忆阻器是备受瞩目的一个。基于离子运输的忆阻器与神经系统中突触和神经元的工作机制相似。目前学术界已经用忆阻器实现了突触的强度以及长时程、短时程可塑性,也已经基于忆阻器实现了不同仿生层次的人工神经元。同样振奋人心的是,一些忆阻器已被证明具备局部活性(Local activity)的工作区域,能够产生混沌等复杂的非线性动力学行为,这是模拟神经元活性的重要基础。

图3 蔡少棠的局部活性(local activity)理论示意图。

近日,北京大学杨玉超黄如院士课题组联合南加州大学杨建华教授在Small Science上发表了题为“忆阻器的非线性在神经形态系统中的应用”的综述文章。该文总结了忆阻器件的非线性产生机理及其在构建神经形态动力学系统中的应用。作者总结了导致忆阻器非线性的物理机制,讨论了利用器件内部的物理过程实现神经元功能的方法,总结了基于非线性忆阻器的神经形态动力学系统,包括忆阻库网络、忆阻器振荡神经网络和忆阻混沌计算。最后展望了神经形态动力学系统的发展前景。

1、忆阻器非线性机理:忆阻器的非线性特性的一个来源是阻变过程中涉及的非线性物理过程,包括相变忆阻器种结晶态和非晶态之间的相变,铁电型忆阻器种铁电极化翻转,磁隧穿型忆阻器种自旋矩引起的磁化转换和磁畴壁运动。它也可能来自阻变过程伴随的内部非线性化学反应。同样,非线性也可能源于复杂的物理化学耦合过程,例如涉及氧化还原或成分变化和离子漂移过程相互耦合以保持电荷中性物理化学过程。

图4 不同阻变机制的忆阻器

2、神经形态系统中的非线性计算单元-神经元:人工神经元的物理实现对于实现人工神经形态系统至关重要。基于忆阻器已经实现了包括LIF模型、H-H模型、振荡型在内的人工神经元。在将 Mott忆阻器作为人工神经元离子通道实现的人工H-H神经元中,已经实现动作电位有无,连续发放,信号增益和不应期在内的丰富神经元动力行为和多达23种生物神经元发放行为。

3、用于非线性特征映射的忆阻库网络:大脑中的神经元在接受到来自感受器的信号后,会被激发至特定瞬态模式,该模式被视为信息的特征用于后续的处理。模仿这种工作模式的库网络在处理含时信息方面具有天然的优势。部分忆阻器具备的非易失性和非线性响应特性是库功能物理实现的基础。目前忆阻库网络已经实现了语音识别和混沌序列预测等任务。

图5 用于非线性特征映射的忆阻库网络。

4、忆阻耦合振荡网络:非线性神经元通过突触相互耦合,大脑中约1011个神经元由1015数量级的突触互联组成复杂的神经网络系统。在这样复杂的耦合非线性系统中,状态并非变得更为混乱和难以预测,反而会自发地涌现出一些秩序。这样的秩序被称为同步现象。神经元簇的同步是神经科学中一个非常重要的话题,它被用来解释各种重要的神经活动,包括某些关键节律的产生机制,不同大脑中信息的跨区交流建立等。忆阻器振荡神经元间的同步现象,已被用于包括语音识别在内的多种认知任务和步态控制等。此外,用忆阻耦合振荡网络实现的Ising机已被用于多种优化问题的求解。

图6 忆阻耦合振荡网络。

5、基于忆阻器的混沌计算:忆阻系统可以实现的另一种典型形式的动力学行为是混沌,它是非线性动力学中最复杂也最引人入胜的部分。先前的神经科学研究表明,大脑工作在“混沌边缘”,这可能是大脑复杂智能和其他高级功能涌现的原因。同样,开发具有混沌动力学和其他仿生功能的神经形态器件,并将其应用于高效计算,对于将来实现企及人脑智能和效率的人工智能系统至关重要。部分忆阻器已被证明具备局部活性(Local activity)的工作区域,能够产生混沌等复杂的非线性动力学行为,并已应用于基于混沌的高效计算,包括优化问题求解。

7 基于忆阻器的混沌计算。

最后作者在展望中提到,领域近年来取得了令人鼓舞的进展,但仍处于起步阶段,目前的实验演示仍远未企及大脑的复杂度和计算能力。基于这些原型开发实用的硬件系统仍需要大量科学和工程上的努力。此外,需要强调的是,神经形态系统的构建是一个高度跨学科的课题。一方面,这与理解大脑中的详细工作机制方面的神经科学进展密切相关。另一方面,物理学家、材料科学家、电气工程师和计算机科学家的共同努力对于进一步揭示器件机理、设计器件的材料结构调控器件行为以及基于器件特性优化算法至关重要。因此,这一领域的未来发展需要跨领域的密切合作,同时依赖神经科学研究和人工神经形态系统之间的相互启发。在此基础中,可以期望在未来的十年中将会有更多的通过充分利用忆阻器件的丰富非线性和动态特性来搭建神经形态系统的研究成果出现。

Nonlinearity in Memristors for Neuromorphic Dynamic Systems

Ke Yang, J. Joshua Yang*, Ru Huang*, Yuchao Yang*

Small Science

DOI: 10.1002/smsc.202100049

论文信息

原文链接:https://onlinelibrary.wiley.com/doi/full/10.1002/smsc.202100049