Advanced Intelligent Systems:基于可调谐光电探测器的感知存算技术与自适应机器视觉系统

随着人工智能技术的蓬勃发展,近年来无人驾驶汽车和侍服机器人开始步入普罗大众的日常生活。在这些人工智能系统与人类交互的过程中,机器视觉提供了80%以上的信息输入,并为后续的决策任务提供了重要的数据支撑。但是,由于传统CCD或CMOS图像传感器不具有调控感光度(photoresponsivity)的能力,在极端照明情况下很难实现高精度成像;从传感器端获取的大量冗余数据在传感器-存储器-处理器通路上传输时也会造成极大的延迟和显著的能耗,严重制约了图像处理芯片和机器视觉系统的整体算力。如何发展新原理基础器件和新计算范式,解决冯·诺伊曼架构的通讯瓶颈问题,已经成为后摩尔时代人工智能芯片领域的关键问题。

图1. 钙钛矿光电探测器阵列及其自适应成像与感知存算一体化示意图。

最近,由上海交通大学刘钢研究员、石家庄铁道大学赵晋津教授以及华盛顿大学曹国忠教授课题组组成的联合研究团队提出了一种全新的基于可调谐光电探测器的感知存算一体化技术和自适应机器视觉系统(图1)。在前期工作(Adv. Mater. 2015, 27, 2797-2801; Nature Commun. 2018, 9, 4807; ACS Nano 2017, 11, 11298-11305; ACS Nano 2019, 13, 2634-2642; Adv. Mater. 2019, 1902870; Adv. Mater. 2020, 2001107)的基础上,他们采用金属有机卤化物钙钛矿材料CsFAMA作为光敏介质构建光伏传感器,发现光照和电场都能够诱导器件内部发生离子迁移并改变其能带结构和输运特性,所制备的Au/CsFAMA/ITO三明治结构器件在可见光范围内具有全波段响应和540%~1270%的自发或主动可调谐感光度特性。通过单独调制每一个感光元件的相应度,研究团队基于该钙钛矿光电探测器阵列实现了过曝图像的高精度、真色彩再现(图2)。

图2. 钙钛矿光电探测器阵列中的过曝图像自适应成像动态过程。

此外,这种可调谐的器件感光度也可作为突触权重,从而赋予了钙钛矿传感器网络执行原位神经形态计算的能力。利用每一个器件的光电响应和同一字线/位线上光电流的加和执行乘加运算和矩阵向量乘法运算,结合受生物瞳孔功能启发的自适应成像能力,这种传感神经网络可以将极强光照明条件下的目标识别准确率提高263%左右(图3)。

图3. 可调谐光电探测器阵列中的过曝图像自适应成像与目标识别。

通过将人工神经网络内嵌到图像传感器中,在可调谐光电忆阻器阵列内原位执行智能图像传感和神经形态计算任务,发展颠覆性的感知-存储-处理一体化架构,减少功能单元间不必要的数据传输,有望突破冯·诺伊曼能效瓶颈的限制,从而大幅提高机器视觉系统的整体算力,在自动驾驶汽车和智能机器人等需要实时决策的人工智能领域具有广阔的应用前景。值得一提的是,钙钛矿材料中的离子迁移行为通常被认为是对光伏应用有害的。在本工作中,联合研究团队“变废为宝”,为钙钛矿材料和器件的发展提供了更加广阔的空间与思路。 研究成果以《Switchable Perovskite Photovoltage Sensors for Bioinspired Adaptive Machine Vision》为题发表在Advanced Intelligent Systems(DOI:10.1002/aisy.202000122)。相关工作得到了国家重点研发计划、国家自然科学基金、上海市科委、河北省杰出青年科学基金以及河北省青年拔尖人才计划的经费支持。