Small Science:人工智能进入物理驱动时代

作者:荆兆坤,杨玉超

WILEY开放获取(OA)旗舰期刊Small Science 近日发表了来自荷兰Twente大学Wilfred G.van der Wiel教授课题组的最新研究成果,讨论了1/f噪声对系统计算能力(即信噪比、非线性等)的影响。这一工作是该课题组于去年发表的Nature论文的后序,他们首先提出了用硅体系无序掺杂原子网络来解决计算中的非线性分类问题,为与当前硅基电子产品兼容的高能效计算提出了范例。阅读本文详细内容((DOI: 10.1002/smsc.202000014)。

同时,我们特别邀请了来自北京大学微纳电子学系、北京大学人工智能研究院类脑智能芯片研究中心的杨玉超研究员撰写了亮点文章,在解读原文的同时展望了人工智能进入物理驱动时代的前景。原文同时在线刊发在Small Science上 (DOI: 10.1002/smsc.202000065),以下为中文版,由作者提供。

具备非线性计算能力的传统计算平台需要复杂的电路设计和控制逻辑,执行大型计算任务时通常要付出极高的面积和能耗代价。而构建具有高复杂度非线性计算功能、高面积功耗效率的硬件平台还有另一种方法:探索物理体系中固有的非线性效应。物理库网络计算[1]在近年来的研究中进展显著,这种计算方法利用现实世界中的各种物理效应作为库网络中的库对特征进行非线性映射。来自荷兰的研究者提出了一种硅体系无序掺杂原子网络[2]来解决非线性分类问题,该系统具有高达100 TOPS/W的折算能效和300 nm*300 nm的超小面积。这种掺杂原子网络实际上利用了电子变程跃迁的物理机制,通过在输入和多个控制电极施加合适偏置电压,使电子跃迁呈现非线性的电压-电流关系,从而使其能够作为库进行特征映射。因此该掺杂原子网络也可以归类为物理库网络计算系统的一种。但需要注意的是,工作在电子变程跃迁机制下的计算系统自然与噪声相耦合,导致输出电流存在涨落。因此,噪声的存在对系统计算能力(即信噪比、非线性等)的影响需要仔细研究。

为解决上述问题,该团队于Small Science发表了进一步细致深入的探究成果[3]。首先该团队在实验上确认了掺杂原子网络的计算能力(即非线性)随着系统信噪比的增加而消失。其次阐明了信噪比随偏置电压升高出现峰值这一现象,是系统响应电流与1/f噪声密度随偏置电压变化速度不同造成的。随后该团队在进一步的分析中提出了掺杂原子网络的最优偏置电压条件,该规律有望泛化到其他复杂的非线性物理计算系统中。

图1. 在非传统的计算系统中合理利用噪声或许能引起计算能力的巨大提升。

在计算系统中噪声一般被认为是需要被消除的因素,高信噪比是信号处理的一贯追求[4]。该研究成果的有趣之处在于,它提供了一种崭新的视角,即实际物理系统的噪声与其强大的计算能力可能是如影随形的。在非传统的计算系统中合理利用噪声或许能引起计算能力的巨大提升。

最近基于RRAM[5]和PCM[6]等非易失存储器件的计算系统发展迅猛,展示出神经形态计算超越传统计算范式的巨大潜力[7]。然而器件固有的随机噪声[8][9]使得这些新型计算系统的性能仍不尽如人意,限制了其大规模集成的发展[10]

但另一方面,一些利用器件固有噪声作为计算资源的尝试却让人刮目相看。例如,阵列中RRAM器件的固有噪声可以用作生成对抗网络(Generative Adversarial Network,GAN)的输入[11]。基于RRAM阵列构建的GAN加速器不仅可以为网络的矩阵向量乘法计算提供高能效的并行加速,还可以通过物理上自动引入的噪声解决网络训练中的模式崩溃问题。与之类似,RRAM阵列中的固有噪声还可以在霍普菲尔德网络(Hopfield Neural Network,HNN)中发挥作用[12]。在RRAM阵列加速网络矩阵向量乘法计算的同时,模拟退火算法可以通过外围电路控制的阵列噪声辅助实现,使得网络迅速收敛。

在神经科学领域,研究者们在大脑活动中普遍发现了1/f噪声的存在[13],有关研究表明1/f噪声是复杂神经元动力学过程的结果[13][14]。即便1/f噪声与大脑高级认知活动的相关性仍然没有定论,最新的研究显示复杂计算系统中存在的噪声或许是高级非线性计算能力的表现。除此之外还有一点启示,即系统信噪比和计算功能的折衷可能存在于众多物理体系中,“材料智能”这一主题仍有广袤的探索空间。

目前构建新型计算系统的一个重要途径是利用新兴非易失存储器件的阵列,根据欧姆定律和基尔霍夫电流定律实现高效的矩阵向量乘法的存内计算加速。尽管该方法的研究了令人瞩目的进展,我们也应当看到这种方法的局限性,即只有神经网络计算任务中的线性计算部分被加速,而非线性计算部分仍需传统的CMOS电路或者软件完成。上述架构实际上是深度学习算法“自顶向下”设计的结果,因此硬件在功能上完全受到算法的制约。另一方面,一些实际的物理系统具有内禀的计算功能,以此为基础结构有可能构建另一种截然不同的智能计算系统。除了前面提到的欧姆定律和基尔霍夫电流定律,材料或器件物理方面的其他特性,如随机性、物理演化、暂态特性等,都有可能成为物理计算的基石。按照“自底向上”的设计逻辑将一些具备非线性计算功能的物理单元组合到一起,有可能为设计更高复杂度、更高能效的计算硬件带来新的希望。

参考文献

  • G. Tanaka, T. Yamane, J.B. Héroux, R. Nakane, N. Kanazawa, S. Takeda, H. Numata, D. Nakano and A. Hirose, Neural Netw. 2019, 115, pp.100-123.
  • T. Chen, J. van Gelder, B. van de Ven, S.V. Amitonov, B. de Wilde, H.C.R. Euler, H. Broersma, P.A. Bobbert, F.A. Zwanenburg and W.G. van der Wiel, Nature 2020, 577(7790), pp.341-345.
  • ,DOI: 10.1002/smsc.202000014
  • D.A. Bies, C. Hansen and C. Howard, 2017, CRC press.
  • D.B. Strukov, G.S. Snider, D.R. Stewart and R.S. Williams, Nature 2018, 453(7191), pp.80-83.
  • H.S.P. Wong, S. Raoux, S. Kim, J. Liang, J.P. Reifenberg, B. Rajendran, M. Asheghi and K.E. Goodson, Proc. IEEE 2010, 98(12), pp.2201-2227.
  • M.A. Zidan, J.P. Strachan and W.D. Lu, Nat. Electron. 2018, 1(1), pp.22-29.
  • D. Ielmini, F. Nardi and C. Cagli, Appl. Phys. Lett. 2010, 96(5), p.053503.
  • G.F. Close, U. Frey, M. Breitwisch, H.L. Lung, C. Lam, C. Hagleitner and E. Eleftheriou, IEEE Int. Electron Devices Meet., 2010 (pp. 29-5).
  • J.D. Kendall and S. Kumar, Appl. Phys. Rev. 2020, 7(1), p.011305.
  • Y. Lin, H. Wu, B. Gao, P. Yao, W. Wu, Q. Zhang, X. Zhang, X. Li, F. Li, J. Lu and G. Li, IEEE Int. Electron Devices Meet., 2018 (pp. 3-4).
  • D.R. Chialvo, Nat. Phys. 2010, 6(10), pp.744-750.
  • D.L. Gilden, Psychol. Rev. 2001, 108(1), p.33.

作者简介

荆兆坤,北京大学前沿交叉学科研究院博士研究生,IEEE Electon Devices Society (EDS) 北京大学学生分会主席。本科毕业于华中科技大学光学与电子信息学院。主要研究方向为神经形态器件制备、应用以及存内计算芯片设计,相关成果发表在 Nature Communications、Advanced Materials Technologies等期刊。

杨玉超,北京大学人工智能研究院类脑智能芯片研究中心主任,北京智源学者,国家杰青获得者。长期从事神经形态器件、类脑智能芯片、忆阻器等研究,累计发表Nature Nanotechnology、Nature Electronics、Nature Communications、Science Advances、IEDM等期刊和会议论文100余篇,SCI引用5000余次,H因子为31。2篇入选TOP 0.1% ESI热点论文,8篇入选TOP 1% ESI高被引论文,3篇入选期刊封面/内封面,受邀撰写中英文专著5章,研究工作入选智源研究院发布2020年世界十大AI进展,并被Advanced Science News、Materials Views、nanotechweb.org、X-MOL、RSC中国等几十家网站重点报道。主持重点研发计划、国家杰青、基金委重点项目、霍英东教育基金会青年教师基金等项目,任中青科协信息与电子专业委员会副秘书长、中青科协提案专门委员会理事、中国电子学会青年工作委员会委员、IEEE未来计算国际研讨会TPC主席、EDTM 2021 Subcommittee主席、Nano Select副主编、Scientific Reports编委、Chip编委、中国科学:信息科学青年编委等。曾30余次受邀在国际学术会议上做特邀报告(含主旨报告4次),作为程序委员会主席和召集人组织了IEEE未来计算国际研讨会(IWOFC)等多次国际会议。获首届科学探索奖、求是杰出青年学者奖、Wiley青年研究者奖、《麻省理工科技评论》中国区35岁以下科技创新35人等奖项。